J’ai pris la main sur l’organisation de notre concours du meilleur livrable (CCML) mensuel il y a tout juste un an. C’est l’occasion pour moi de partager quelques enseignements que je tire de cette expérience.

La simplicité au service de la démocratie : de la boîte noire à la transparence

ISLEAN organise chaque année le CCML, un concours interne pour récompenser la qualité d’un livrable produit dans le cadre d’une mission ou d’un chantier. Il sert plusieurs objectifs :

• Incarner notre volonté de maintenir une production de haute qualité
• Récompenser la construction d’un livrable d’exception
• Faire connaître au sein du cabinet l’activité de chaque consultant
• Diffuser au sein du cabinet les bonnes pratiques

Chaque mois, les consultants (pas les managers ni les associés) sont invités à proposer un livrable, et tout le cabinet contribue à la sélection du meilleur livrable. Le gagnant de la saison sera sélectionné parmi les 12 qui se sont distingués.

Mais comment choisir les gagnants ?

Si on recherche un fonctionnement démocratique, la première solution qui vient à l’esprit c’est de faire voter tout le monde.

Balthazar Dadvisard nous avait expliqué l’intérêt d’utiliser le vote au jugement majoritaire. Puisque nous pratiquons le eat your own dog food (littéralement « manger sa propre nourriture pour chien »), nous l’avons mis en place pour sélectionner le meilleur livrable de chaque mois.

Sans rentrer ici dans les détails du processus, l’avantage majeur est qu’il permet d’éviter le vote utile, en permettant à chacun de juger les candidats indépendamment les uns des autres, sans sacrifier sa voix parce qu’il anticipe une défaite de son candidat préféré.

Oui, mais…

Lors d’une élection présidentielle par exemple, le nombre de candidats est négligeable par rapport au nombre de d’électeurs, faisant que leur voix a un impact négligeable.

Oui, mais ce n’est pas le cas dans un cabinet d’une vingtaine de consultants, avec 13 participants potentiels et à peine plus de votants en moyenne. On peut imaginer un consultant imaginaire qui voudrait maximiser ses chances de gagner. Même s’il n’a pas le droit de voter pour lui-même, il a malgré tout intérêt à donner de plus mauvais votes à ses collègues qu’ils ne lui en donnent.

Je juge que pour un vote réussi, il ne faut pas qu’il y ait de doute sur le dépouillement. C’est pour cette raison que tous les consultants chez ISlean ont accès aux détails des votes et des commentaires. Cela leur permet de vérifier l’intégrité du dépouillement et également de progresser en lisant les conseils des autres.

Oui, mais en pratique, c’est l’organisateur du CCML qui dépouille (en l’occurrence moi pour ces 12 derniers mois) et qui présente les résultats. Même si le principe est simple, le dépouillement d’un vote au jugement majoritaire est chronophage. Le faible nombre d’électeurs impose un nombre important d’itérations afin de départager ceux qui ont fait mieux que la mention majoritaire.

Concrètement, cela veut dire que je suis le seul à vraiment dérouler le processus complet. C’est peut-être un manque de pédagogie ou une mauvaise interprétation de ma part, mais j’ai beau expliquer à chaque fois la manière de départager les candidats, cela n’a pas l’air de convaincre tout le monde à 100%. J’ai l’impression de désigner le gagnant en conclave, la transparence n’est qu’une illusion.

Keep It Simple, Stupid (KISS)

Le dernier inconvénient m’a poussé à remettre en question notre système de vote.

Afin de préserver la possibilité de chacun d’exprimer son ressenti par rapport à chaque livrable, nous laissons encore aux votants la possibilité de juger les livrables sur toute l’échelle (Excellent/Très bien/Bien/Passable/Insuffisant). Le dépouillement se fait dorénavant en attribuant un nombre de points bien choisi à chaque mention et en les sommant.

Le classement se fait instantanément : le gagnant n’est pas celui qui a le plus de votes ou celui qui répond à une condition mystérieuse, mais simplement celui qui a le plus de points. C’est tellement facile à reproduire que même si personne ne le fait concrètement, on a plus confiance en sa capacité à vérifier et on fait donc plus confiance au résultat du dépouillement.

Le principe KISS est une ligne directrice de conception qui préconise la simplicité dans la conception et que toute complexité non indispensable devrait être évitée dans toute la mesure du possible. C’est le principe que j’ai essayé de suivre pour répondre à notre besoin.

Quelles améliorations possibles ?

En remarquant qu’il était avantageux d’attribuer des mentions moins bonnes à ses concurrents, je me suis posé deux questions :

• Est-ce que la situation existe aujourd’hui ; est-ce que c’est un problème ?
• Comment le traiter s’il était avéré ?

Situation actuelle

J’ai analysé les votes récents de 16 consultants afin de me faire une idée du comportement des votants. Je remarque effectivement que certains sont plus sévères, d’autres plus généreux :

Nombre d’écart-types entre la note donnée par le votant et le votant moyen.

J’ai mis en avant les 2 valeurs qui sortent le plus du lot, de manière positive ou négative.

A priori il y a de quoi s’inquiéter, 2 ou 3 sigmas d’écart justifient à mon sens une investigation plus poussée.

Il se trouve que dans notre cas, il s’agit d’électeurs qui ne participent pas au concours : un manager et un associé. Cela ne pose donc pas problème vu que leur seul intérêt est d’améliorer la qualité des livrables que nous produisons collectivement.

Au contraire, je constate que les plus généreux sont en fait les consultants eux-mêmes, c’est-à-dire ceux qui n’ont pas nécessairement intérêt à l’être pour gagner. Je mets mon intuition à l’épreuve des statistiques. Numériquement, chaque montée en grade correspond à un sigma de sévérité supplémentaire (1 sigma correspond à environ 1 point), alors que la séniorité (en années) est à la limite d’être statistiquement significative.

La taille de l’effet (grand coefficient) et la signification statistique (petite probabilité) du grade sont beaucoup plus important que ceux de la séniorité.

J’en conclus que pour le moment je n’ai pas d’inquiétude à avoir au niveau du biais dans les votes, et que cela ne justifie pas de modification au processus.

Que faire si c’était avéré ?

Si je n’ai pas à tirer la sonnette d’alarme de mon côté, ce n’est peut-être pas le cas de tout le monde. Je propose donc une solution inspirée de ce qui se fait en statistiques et en apprentissage automatique pour ceux qui seraient en manque d’inspiration. Au lieu de modifier le système de vote, je normaliserais les votes. J’attribuerais artificiellement un budget de points à chaque électeur : je divise chaque point qu’il attribue par le total des points qu’il a attribués.

Ainsi, un votant généreux aurait autant de chances de gagner qu’un votant sévère toutes choses égales par ailleurs, car ils distribuent le même nombre final de points à leurs compères.

Conclusion

Mettre en pratique un système démocratique peut paraître trivial : il n’y a qu’à choisir le système qui nous paraît le plus juste. Mais confronté à la réalité, ce système ne suscite peut-être pas l’adhésion ou n’assure pas la confiance, malgré la transparence théorique du processus. C’est pour cette raison que nous nous sommes rabattus sur un système par points, qui se reproduit beaucoup plus facilement sans perdre les principaux avantages du vote au jugement majoritaire.