Impossible de passer à coté d’articles sur chatGPT depuis plusieurs mois. Une étude de l’OCDE mesure l’impact des IA génératives par métier. Une autre étude américaine prévoit que 80% des jobs vont être impactés a minima à 10%. En France, on garde une longueur d’avance : Raphaël Enthoven a une meilleure note que chatGPT au bac Philo. Ouf. Pour le moment. Pour paraphraser Jacques Dutronc « 700 millions de jobs menacés, et moi, et moi et moi ? ». Je teste donc ces IA depuis plusieurs mois et vous propose un partage de quelques surprises. En vision subjective uniquement !

Petit rappel : chatGPT est clairement l’IA générative qui a le nom le plus connu. Mais, pour notre plus grand malheur, elle n’est pas unique. Pour n’en citer que deux autres : Microsoft(1) a sorti son IA avec un onglet Conversation dans Bing. Google a sorti Bard. Avec, à chaque fois, de nouvelles promesses d’un monde meilleur. Selon l’étude américaine déjà citée : 19% de certains métiers vont être impacté à 50% ou plus dans leurs tâches.

1/ pour savoir ce qu’il fait par soi-même

Autant essayer par soi-même.

Ne pensez pas une seconde que c’est compliqué. L’offre technologique est construite pour être à chaque fois plus accessible, plus facile à adopter. C’est son modèle de fonctionnement. D’affaires, pourraient dire certains. A titre personnel, je considère que cela pourrait être une des ruptures entre l’informatique et le numérique : le premier était tourné vers des professionnels (des initiés) ; le deuxième émerge en devenant facile à utiliser. Plus besoin de savoir coder pour utiliser le numérique (même si le numérique ne s’appuie que sur du code informatique).

Les trois IA citées ci-dessus sont déconcertantes de facilité d’accès. Cela se présente comme un conversation : vous posez des questions, l’ordinateur répond. En langage naturel, c’est-à-dire dans votre langue courante. Les trois IA citées sont capables de converser avec vous en français. Libre à vous d’utiliser l’anglais aussi.

J’ai effectué un test de comparaison entre les trois IA (Bard, Bing et chatGPT) en leur posant la même question : « définis-moi l’IA générative en cinq lignes ». Leurs réponses donnent un avant-goût de leurs différences.

Bard est le plus prolixe. Lors de mon test(2), l’IA ne sait pas tenir la consigne des cinq lignes. Bard m’a répondu en l’équivalent de trois fois le nombre de caractères des deux autres IA. Bing construit une réponse à partir de sources citées. chatGPT donne également une réponse avec les mêmes idées, en soulignant toutefois, comme Bard le caractère sympa, mais expérimental, de l’IA (ce que Bing ne mentionne pas).

2/ pour tester des cas d’usage qui font gagner du temps dans son quotidien

Je poursuis mes tests avec deux cas d’usage professionnels, avec cette fois chatGPT (version gpt4).

Le plan de formation

Pour le premier cas, je converse avec l’IA pour lui demander de me produire un plan de formation pour un cabinet de conseil. (On pourrait dire que c’est un test sur le contenu, car j’ai quelques idées sur le sujet). Le résultat est très bon : non seulement, j’y retrouve les formations développant les compétences que j’estime fondamentales au métier ; mais en plus, les suggestions de l’IA me donnent de nouvelles idées. J’obtiens un résultat que j’estime satisfaisant après une quinzaine de questions / réponses. Ce qui représente entre vingt et trente minutes. Ce sont des ordres de grandeur et non un chronométrage.

La fiche de poste

Dans le deuxième cas, je demande à l’IA de m’écrire une fiche de poste. J’ai en effet besoin de faire une version initiale pour lancer la discussion avec un client. L’exercice standard aurait consisté à d’abord poser les attentes sur la base de l’expérience acquise. Ensuite, à compléter cela avec des recherches sur des fiches de postes comparables qu’internet fournit. Cet exercice, classique dans le métier du conseil quand on redéfinit une organisation, permet de démarrer un atelier avec une « pièce à casser » que nous adaptons au contexte de notre client. Je détaille ce procédé pour vous indiquer que cela prend en général une à deux journées pour un débutant. Revenons à l’IA : je démarre le matin et en quatre questions, j’ai une version parfaitement comparable à ce que le procédé précédent m’aurait produit. Certes, trois des questions demandent explicitement à l’IA de rédiger la fiche de postes, en lui indiquant le plan (classique : missions et compétences). Je dois contourner une limite de la rédaction proposée avec la quatrième question : chatGPT n’explique pas la mission attendue comme je le souhaite, dans la fiche de poste. Je lui demande donc dans cette dernière question de me définir uniquement cette mission. Cette fois, la réponse me permet, avec une légère synthèse rédactionnelle manuelle, de produire le document complet.

Ces cas d’usage illustrent l’apport potentiel de ces technologies. Toutefois, dès le deuxième cas, je parle de synthèse manuelle additionnelle pour atteindre le résultat que je veux.

3/ pour voir les limites et se former

Sans chercher à me rassurer avec ma note de philo au bac, je trouve que le potentiel de l’IA est à la hauteur de ce que nous en ferons. Cela fait longtemps que l’ordinateur bat l’homme aux échecs. Depuis vingt-cinq ans, j’ai vu à quel point les progrès technologiques m’aident au quotidien dans mon métier de consultant. Les simulations avec les données qui me prenaient deux mois il y a vingt ans peuvent maintenant se faire en quelques minutes. Je suis peut-être enthousiaste à idéaliser le présent !

D’abord, l’utilisateur

Toutefois, sans perdre de vue le potentiel de ces outils, j’y vois plusieurs points de vigilance.

La première limite est… son utilisateur.

Et la première limite de son utilisateur, c’est de ne pas savoir que c’est même utilisable pour ce type de résultat. Il me parait donc vital de se former sur ces technologies.

Pour un utilisateur conscient de l’usage utile de l’IA, vient ensuite la limite de la compétence (humaine). Les articles sont nombreux sur les « sorties de route » des IA. Dans les deux cas d’usage plus haut, j’avais déjà en tête de nombreux éléments du résultat. Je n’avançais pas à l’inconnu sur un sujet nouveau. Mais, quand on veut complètement débroussailler un sujet neuf, comment détecter les erreurs de l’IA ? La contrepartie de ce risque de « sortie de route » est que les éditeurs de ces IA cèdent la propriété des résultats aux utilisateurs (cela évite les risques de procès).

Ensuite, les sources d’apprentissage

La dernière limite – que j’ai vue pour chatGPT sur un autre test – est le sujet des sources étayant ses réponses. Mon test reposait sur mon goût pour l’Open data et ma marotte sur les arbres de Paris. A l’époque(3), j’avais demandé à chatGPT de sortir des sources de communication de la Mairie de Paris sur le nombre d’arbres annoncés et de me donner les réalisations. ChatGPT avait convenu d’une incohérence entre les chiffres annoncés dans les pages de communication et ce qu’il lisait dans les pages de l’open data(3) de la Ville de Paris. Sans m’étendre sur la tristesse de remplacer des arbres par du béton dans la ville, j’avais noté une hiérarchie dans les apprentissages des sources de chatGPT. Et c’est probablement là que réside la limite la moins visible et la plus… dangereuse ? Comme dit le dicton de l’IT « garbage in, garbage out ». Si l’apprentissage de l’IA générative se fait sur des bases trompeuses, l’IA restitue les erreurs ou désinformations qu’elle aura reçue en entrée.

 

 

Notes : (1) lire l’article remarquable de Mathilde Régnier-Dulout sur l’IA de Microsoft ; (2) ces technologies d’IA générative évoluent beaucoup trop vite pour que mon article ne paraissent pas rapidement obsolète ; (3) lors de mon test, j’ai pu injecter des url de sites internet à chatGPT pour qu’ils les parcourent et m’en fasse une synthèse. Cette fonctionnalité ne m’a plus paru accessible quand j’ai fait de nouveaux tests en juillet.