Enquêtes de référence pour les programmes de développement : des données solides dès le premier jour

Échantillonnage, indicateurs, comparabilité et gestion des données : comment concevoir une baseline qui tienne encore à mi-parcours et en fin de programme

Presque tous les programmes de développement financés par la Banque mondiale, les agences des Nations unies, la Banque africaine de développement ou les bailleurs bilatéraux prévoient une enquête de référence (baseline) dans leur plan de suivi-évaluation. C’est souvent l’un des premiers livrables après la phase de démarrage, et elle se déroule fréquemment dans l’urgence, pendant que l’équipe du programme se met encore en place.

Pourtant, la baseline est le point de référence à partir duquel tous les résultats seront jugés. Les erreurs commises à ce stade se corrigent rarement à mi-parcours ou en fin de programme. Cet article présente ce que les équipes de suivi-évaluation, les organisations de développement et les cabinets qui répondent à des termes de référence doivent réussir dès le premier jour.

1. Partir du cadre de résultats, pas d’un questionnaire générique

La première tâche consiste à associer chaque indicateur du cadre de résultats ou du cadre logique à une mesure précise. Beaucoup d’indicateurs paraissent clairs sur le papier mais laissent place à l’interprétation : qu’est-ce qu’une entreprise familiale, une pratique améliorée ou l’accès à un service ?

• Rédiger une définition opérationnelle pour chaque indicateur : unité, période de référence et mode de calcul.
• Distinguer les indicateurs qui exigent une enquête de ceux qui peuvent provenir de données administratives ou du programme.
• Vérifier si le bailleur utilise des définitions standard et s’y aligner.
• Supprimer les questions qui n’alimentent ni un indicateur ni un besoin d’analyse clairement formulé.

2. Dimensionner l’échantillon pour les comparaisons à venir

L’échantillon d’une baseline doit être conçu en pensant à l’analyse finale. Si l’évaluation comparera des bénéficiaires à un groupe de comparaison, ou des régions entre elles, l’échantillon doit être assez grand pour détecter un changement réaliste entre deux vagues.

Les décisions clés d’échantillonnage

• Des calculs de puissance fondés sur l’effet attendu, la corrélation intra-grappe et l’attrition.
• Une stratification par zone, par sexe ou par type de bénéficiaire lorsque les résultats doivent être présentés séparément.
• Des règles claires de remplacement des ménages ou entreprises introuvables ou qui refusent.
• Une base de sondage documentée, pour pouvoir retrouver la même population.

3. Intégrer la comparabilité avec la mi-parcours et la finale dès la conception

La comparabilité est la raison d’être d’une baseline. Les mêmes questions, formulations, modalités de réponse, périodes de référence et règles de calcul doivent être utilisées à chaque vague. Si une question doit changer, la modification doit être documentée et, si possible, les deux versions posées une fois pour assurer la transition.

La saisonnalité compte aussi. Les indicateurs de revenu, de sécurité alimentaire ou d’emploi peuvent fortement varier au cours de l’année : les vagues suivantes devraient idéalement se dérouler à la même période que la baseline.

4. Concevoir et tester les outils dans le contexte réel

Utiliser des modules validés issus de grands programmes d’enquête est une bonne pratique, mais ils doivent être adaptés. Traduction et rétro-traduction, tests cognitifs et pré-test sur le terrain permettent de vérifier que les répondants comprennent les questions comme prévu. Le pré-test est aussi le moment de mesurer la durée de l’entretien : un questionnaire trop long dégrade la qualité des dernières sections.

• Rattacher chaque module à un indicateur et placer les questions sensibles une fois la confiance installée.
• Programmer filtres, plages de valeurs et contrôles de cohérence directement dans le formulaire CAPI.
• Prévoir des unités locales et des exemples pour les quantités, les prix et les surfaces.
• Valider la version finale avec le client et la figer avant le terrain.

5. Former les enquêteurs aux concepts, pas seulement aux questions

Les enquêteurs doivent comprendre les définitions derrière les indicateurs : qui est membre du ménage, ce qui compte comme revenu, comment enregistrer une activité qui ne fonctionne qu’une partie de l’année. La formation doit inclure des entretiens d’entraînement, le consentement éclairé, la protection des personnes et un test final. C’est une compréhension homogène entre équipes qui rend les données comparables d’une zone à l’autre et d’une vague à l’autre.

6. Recueillir les informations de suivi pour le panel

Si les mêmes répondants seront réinterrogés, la baseline doit recueillir de quoi les retrouver des années plus tard : coordonnées GPS, numéros de téléphone du répondant et d’un proche ou d’un voisin, points de repère et courte description du lieu, le tout avec un consentement explicite. Ces informations doivent être conservées séparément des données d’analyse pour préserver la confidentialité.

Une enquête de référence n’est pas une étude isolée. C’est la première vague d’une série, et elle doit être conçue comme telle.

7. Traiter la gestion des données comme un livrable

La base de données de la baseline sera réutilisée par d’autres équipes, parfois par un autre cabinet lors de l’évaluation finale. Elle doit donc être livrée avec un dictionnaire des variables, les syntaxes de nettoyage, une description de l’échantillon et des pondérations, les questionnaires finaux dans chaque langue et un rapport de terrain retraçant les remplacements et les incidents. Les identifiants uniques doivent rester stables pour relier les observations d’une vague à l’autre.

La protection des données mérite la même attention. Identifiants personnels, coordonnées et points GPS doivent être chiffrés, l’accès réservé à des personnes nommément désignées, et les règles de conservation convenues avec le client et le bailleur formalisées dès le départ.

Les erreurs à éviter

• Finaliser le questionnaire avant d’avoir défini les indicateurs de façon opérationnelle.
• Dimensionner l’échantillon sur le seul budget, sans calcul de puissance.
• Modifier la formulation d’une question à mi-parcours sans le documenter.
• Oublier de recueillir les informations de suivi des répondants du panel.
• Livrer une base sans dictionnaire, pondérations ni documentation de terrain.

Comment AMRC peut vous accompagner

AMRC accompagne les organisations de développement, les équipes de suivi-évaluation et les cabinets de conseil dans leurs enquêtes de référence, à mi-parcours et finales en Afrique du Nord, au Sahel, en Afrique de l’Ouest et au Moyen-Orient. Nous intervenons comme sous-traitant, partenaire local ou équipe en marque blanche : revue des outils au regard du cadre de résultats, adaptation et traduction des instruments, formation des enquêteurs, collecte numérique avec contrôle qualité quotidien, et livraison de bases documentées, prêtes pour l’analyse et les vagues suivantes.

Questions fréquentes

Quelle différence entre une enquête de référence et une évaluation des besoins ?

L’évaluation des besoins sert à concevoir un programme en identifiant les problèmes et les priorités. L’enquête de référence mesure la valeur de départ des indicateurs que le programme va suivre, afin d’apprécier le changement à mi-parcours et en fin de programme.

Quelle taille d’échantillon prévoir ?

Cela dépend des indicateurs, du changement attendu, du nombre de groupes à comparer et de l’attrition prévue. À titre indicatif, les baselines de programmes vont souvent de quelques centaines à quelques milliers de répondants, mais la bonne taille doit découler d’un calcul de puissance.

La baseline doit-elle précéder le démarrage du programme ?

Idéalement oui, avant que les bénéficiaires ne reçoivent la moindre activité. Lorsque ce n’est pas possible, le calendrier doit être documenté et pris en compte dans l’analyse.

Un autre cabinet peut-il réaliser l’évaluation finale ?

Oui, et c’est fréquent. C’est pourquoi la baseline doit être livrée avec une documentation complète : questionnaires, dictionnaire des variables, détails d’échantillonnage, identifiants et informations de suivi, conservés de manière sécurisée.