Nombreux sont les contextes et les situations où une organisation peut être emmenée à comparer la performance de deux ou plusieurs outils, en pré ou post-production : prise de décision d’achat, amélioration de performance, tests de compatibilité…

Certaines pratiques courantes consistent à se baser uniquement sur une comparaison des fonctionnalités, s’appuyer sur des benchmarks génériques, ou encore mener des tests sans méthodologie précise, le fameux “au doigt mouillé”.

Je vous propose dans cet article de découvrir pourquoi un cadre méthodologique bien défini est nécessaire; et pour aller plus loin, je vous partagerai un cadre simplifié pour réaliser des tests fiables.

Parce que la valeur des résultats réside dans une méthode rigoureuse

Entre biais et subjectivité, incohérence, non reproductibilité ou encore risque de manipulation des résultats, l’absence de cadre méthodologique peut avoir de nombreuses conséquences sur la valeur de vos résultats.

Plus concrètement sans cadre méthodologique :

  • Les évaluations sont plus susceptibles d’être influencées par des préférences personnelles ou individuelles. Cela peut conduire à des conclusions erronées;
  • Les conclusions peuvent s’avérer non vérifiables, les tests étant non reproductibles, dans le déroulement et dans les conditions d’exécution;
  • Les conclusions peuvent être détachées des besoins spécifiques de l’organisation, les tests réalisés n’étant pas forcément alignés sur ses besoins
  • Il devient plus facile de sélectionner des métriques avantageuses ou de manipuler les tests pour favoriser un outil logiciel par rapport à un autre

Quelle approche donc pour garantir des résultats fiables ?

Nous vous proposons une approche en deux phases, afin de constituer un cadre d’évaluation simple, cohérent et aligné sur vos objectifs spécifiques.

Une phase de cadrage suivie d’une phase d’ exécution-évaluation.

La phase de cadrage

Elle établit les bases nécessaires garantissant des tests cohérents, réalisés dans des conditions communes, alignés sur les objectifs du protocole et permettant d’évaluer les résultats sur des bases communes.

Quatre étapes:

  • Définir les conditions/hypothèses de test

L’environnement de test doit se rapprocher au maximum de l’environnement de production.

Les conditions hardware/software sont fixées et sont les mêmes pour chaque outil et à chaque itération.

Les tests sont effectués dans un environnement contrôlé

  • Construction du jeu de test

Le jeu de test doit être représentatif des scénarios et des cas d’utilisation réels, couvrant une variété de situations possibles.

Il peut inclure des exemples pertinents, des valeurs limites ou des données simulées entre autres.

Enfin, l’ensemble de test doit être sélectionné de manière objective, en limitant les biais.

Les méthodes les plus simples sont la sélection aléatoire ou stratifiée.

  • Définition des scénarios et des tâches à exécuter

La définition des scénarios de test et des tâches à exécuter est une étape très importante.

Les scénarios de test décrivent les situations et les interactions typiques dans lesquelles l’outil sera utilisé, tandis que les tâches à exécuter représentent les actions spécifiques que les utilisateurs effectueront avec le logiciel.

Définissez des scénarios et tâches de manière à couvrir une gamme variée de cas d’usage et de situations réelles. Cela permet d’évaluer la performance du logiciel dans des contextes pertinents.

Les scénarios de test et les tâches à exécuter doivent être spécifiques, réalistes et représentatifs des besoins et des attentes des utilisateurs.

  • Définition des métriques et des critères d’évaluation

Les métriques sont les mesures quantitatives utilisées pour évaluer différents aspects de la performance, tels que le temps de réponse, le taux d’erreur ou l’utilisation des ressources.

Les critères d’évaluation définissent les seuils ou les normes à atteindre pour considérer la performance comme satisfaisante.

Il est important de choisir des métriques appropriées et pertinentes en fonction du contexte et des objectifs de l’évaluation.

Aussi, les critères d’évaluation doivent être alignés sur les besoins et les attentes des utilisateurs ou des spécifications du projet.

En résumé, le cadrage joue un rôle essentiel dans la comparaison des performances des logiciels. Il définit clairement les objectifs, les conditions de test, les critères d’évaluation, les métriques, les scénarios de test et les jeux de données appropriés. Grâce à un cadrage précis, on peut garantir une évaluation cohérente et objective des logiciels, en évitant les biais et les jugements subjectifs.

Dans un prochain article, je vous partagerai la seconde et dernière phase de ce cadre méthodologique simplifié.