Votre tableau de bord préféré est rempli d’indicateurs SMART™ (Spécifiques, Mesurables, Atteignables, Réalistes et Temporels). Ils vous aident à mesurer votre progression vers un but fixé. Mais ce serait trop facile si des paradoxes statistiques ne venaient pas pourrir votre vie de manager ou de collaborateur, comme le paradoxe de Simpson. Il frappe lorsqu’un « phénomène observé dans plusieurs groupes s’inverse lorsque les groupes sont combinés. » Votre tableau de bord d’entreprise vous ment-il ? Ou vous dit-il l’inverse de ce que vous voulez vraiment savoir ? Comment s’en prémunir ?
Votre tableau de bord d’entreprise vous ment
Un exemple
Mettons-nous dans la peau d’un directeur commercial qui veut suivre le taux de succès de ses commerciaux quand ils font des propositions.
Voici ce qu’il voit sur son tableau de bord en place au sein de son entreprise :
Tableau de bord en entreprise : vision du service commercial
Il semble évident que Commercial 1 avec son taux de succès de 50% est meilleur que Commercial 2 qui a un taux de succès de 40%. Vous lui donnez une plus grosse prime pour le récompenser pour ses performances.
Seulement voilà, un jour Commercial 2 vient vous voir et vous dit qu’il sent que vous le traitez de manière injuste. En plus, il prétend avoir un taux de succès meilleur que Commercial 1 que vous avez bien récompensé, mais pas lui. Vous rétorquez que vous êtes au contraire très juste. D’ailleurs vous lui montrez le tableau pour vous justifier.
Il revient vers vous et vous montre ceci :
Détail des chiffres par commercial
En réalité, on s’aperçoit que Commercial 2 a un taux de succès plus grand que Commercial 1 :
- Sur les réponses à appel d’offres (25% contre 20%)
- Sur les réponses aux sollicitations du réseau (65% contre 60%)
En fait, si vous cherchez à gagner votre prochain coup, vous avez tout intérêt à mobiliser Commercial 2 plutôt que Commercial 1. Les chiffres sont là, et vous pouvez vérifier que ça colle avec les 2 tableaux.
Qu’est-ce qui s’est vraiment passé ?
C’est dans des cas comme celui-ci que l’on retrouve le paradoxe de Simpson. Il peut survenir quand vous cherchez à trop généraliser et que vous passez à côté de facteurs de confusion. C’est un facteur qui influence à la fois les variables d’explication et le résultat qu’on cherche à expliquer.
Dans l’exemple que j’ai donné, on a cherché à mesurer la performance des commerciaux avec 1 seul taux de réussite. Ce taux cache la réalité des échantillons disproportionnés. Le facteur de confusion est le type de proposition commerciale : réponse à appel d’offres ou réponse à une sollicitation du réseau.
Cas fréquents dans un tableau de bord
Voici les principaux facteurs de risque qui peuvent conduire au paradoxe :
- Variables qui dépendent d’une autre variable cachée par l’agrégation de données
- Différences de distribution dans le temps
- Différences de proportion entre les échantillons
J’ai imaginé quelques cas fréquents de facteurs de confusion. N’hésitez pas à laisser un commentaire avec les vôtres dans votre domaine.
- Volumes différents, prix différents ou qui évoluent
- Différences géographiques (ex. : pays, régions)
- Profils de clients (ex. : public, privé)
On peut donc les retrouver dans des indicateurs de type :
- Panier moyen
- Délai de livraison
- Taux de succès
- Qualité
- Productivité
- Efficacité
Dans notre exemple, le type de réponse influe fortement sur les chances de gagner. Vous pouvez gagner à segmenter vos indicateurs. C’est le sens métier qui compte ici : propositions à faible taux de succès vs propositions à fort taux de succès.
Vous n’avez pas toujours intérêt à le faire, notamment si vous souhaitez encourager un bon taux de succès global. Mais il faut prendre la décision de manière consciente et ne pas la subir et la faire subir.
Conclusion
Connaître ce paradoxe m’a rendu plus méfiant des chiffres que je vois et me pousse à remettre en question ceux que je construis.
Dans le cadre de votre activité, vos tableaux de bord doivent vous aider à piloter votre activité ou vous aider à la gestion. Mais le besoin de synthèse oblige vos outils de BI à agréger une grande quantité de données. Il peut être pertinent, au moment de la construction ou maintenant que vous avez lu cet article, de remettre en question le choix des indicateurs affichés.
Dans le cadre de votre vie de citoyen, vous serez peut-être soumis à des généralisations abusives (« les X sont plus Y que les Z. C’est pas moi qui le dis, ce sont les chiffres »). Mais elles pourront être appuyées par des données tout à fait réelles. C’est à vous d’exiger une analyse d’expert, de faire attention aux facteurs de confusion, de faire une segmentation pertinente ou de choisir les bonnes variables explicatives. Elle vous évitera peut-être de conclure le contraire de ce qui se passe en réalité !
