Dans nos missions nous aidons souvent nos clients à construire et dépouiller des résultats de sondage : satisfaction utilisateurs, estimation de la demande, collecte de données, etc. les usages sont multiples. Réaliser un sondage c’est le concevoir, le transmettre, attendre les réponses, les dépouiller, les exploiter. Tout cela prend du temps, y compris pour les répondants. Mieux vaut ne pas se louper, et cela commence dès la conception…
Créer un sondage / un questionnaire, c’est poser une série de questions auxquelles ont attend des réponses de la part d’un panel de gens dont on estime qu’ils sont en mesure d’y répondre. Ça ne vient pas du Robert, mais remarquez qu’à ce stade je ne prends pas trop de risques. En tout cas, sans être aussi fort qu’un dico, je vais essayer d’aller un peu plus loin qu’une définition dans cet article en répondant principalement à deux questions : quelles bonnes questions se poser avant de concevoir un sondage et quels biais à éviter ?
Sondages, questionnaires… Quelques conseils pour les concevoir
Pourquoi je m’embête avec ce sondage ?
D’abord demandez vous quel est l’objectif du sondage, le reste en découle. Par exemple, les enquêtes de satisfaction utilisateurs. Au-delà de constituer un indicateur en soi, souvent suivi régulièrement, et exploité pour distribuer les bons et mauvais points, la satisfaction clients / utilisateurs doit également permettre de donner un cap. Autrement dit : le questionnaire de satisfaction doit être fait de telle manière à ce que l’on puisse en déduire les meilleures actions pour améliorer la satisfaction. Sur ce sujet, nous avons écrit une série d’articles méthodo pour vous guider.
Quelques questions à se poser pour concevoir votre questionnaire
- Les métadonnées, méga important : dans la perspective de tirer de la valeur de vos sondages / enquêtes, chaque réponse doit pouvoir être remise en contexte. Pensez donc à paramétrer votre questionnaire ou à ajouter les bonnes questions pour :
- Dater chaque réponse
- Qualifier chaque répondant : son entité de rattachement dans l’entreprise, son entreprise, son métier, son âge, etc.
- …
- Pour chaque question que vous allez poser, demandez-vous si celle-ci doit être libre (langage naturel) ou fermée (réponse guidée par choix multiple, liste déroulante, etc.). Ici c’est à vous d’arbitrer :
- Les questions fermées permettent un dépouillement rapide des résultats mais peuvent présenter rapidement des biais (choix de réponse manquant ou au contraire réponses possibles trop nombreuses et non lues, formulation des choix de réponse ambigüe). Attention aussi aux catégories « fourre-tout » type « Autre, préciser… », elles ne sont pertinentes que si vous comptez les exploiter.
- Les questions libres encouragent une expression exhaustive mais peuvent aussi décourager certains répondants (« Rien à dire, « RAS »…). Gardez par ailleurs en tête qu’il existe aujourd’hui de nombreux outils pour exploiter des réponses en langage naturel, même en grands volumes (Phedone, Dataiku, Word2Vec ou autres librairies Python)
- Quel outil pour créer et diffuser mon sondage ? Là il y a le choix, gratuit ou payant : Google Form, TypeForm, JotForm… Mon humble benchmark sur ces 3 solutions :
Les biais auxquels il faut faire attention
Représentativité du panel des répondants : selon l’objectif du sondage, la représentativité statistique peut ou non être un enjeu. L’avantage c’est qu’aujourd’hui il est possible de toucher une quantité importante de personnes en quelques clics. Le problème est qu’on ne maîtrise pas systématiquement qui répond. Par définition et par exemple, on ne peut pas considérer qu’une enquête de satisfaction ou un sondage d’opinion poussé par mail à une multitude de personnes ou mis en accès libre sur le web est statistiquement représentatif de la population ciblée (au mieux, il sera représentatif des gens qui ont tendance à répondre parmi la population ciblée). Cf. le Grand Débat.
La fausse bonne question – « Qu’est-ce qui est important pour vous ? » : il y a quelques mois, nous découvrions qu’il est difficile de demander à un humain ce qui est important pour lui tout en s’attendant à une bonne réponse. Plusieurs biais interviennent ici et peuvent expliquer ce résultat.
Comme nous l’expliquons dans cet article, l’importance d’un critère (d’un produit, d’une solution, d’un service…) pour un utilisateur peut être reconstituée sans être demandée directement.
Ne concevez pas vos questionnaires seul(e) : la formulation des questions, leur ordre, les options de réponses… pour chacun de ces choix il y a une occasion d’introduire des biais de subjectivité. Ex : « Selon vous qu’est-ce qui cloche avec ce produit ? Réponse A : la couleur ; Réponse B : les fonctionnalités » OK, mais quid de l’ergonomie, de la sécurité, de la maintenabilité ? Dans ce genre de cas, testez plusieurs formulations de questions / explorez toutes les possibilités de réponses que vous souhaitez donner aux répondants avec quelques uns de vos pairs.
