Une IA standard fait-elle mieux que votre helpdesk ou votre Service Après-Vente (SAV) ?

J’ai récemment été confronté à une expérience décevante avec une organisation de support ou de “Service Après Vente”. Cela m’a rappelé d’anciens souvenirs qui m’avaient scotché à l’époque. Par conséquent je me suis posé la question “une IA générative standard – chatGPT, Bard…” ferait-elle mieux qu’un être humain en termes de relation client / SAV ? Je vous laisse découvrir le résultat… suspens… pour ne rien divulgacher ! 

IA et Service Après-Vente : Une expérience récente qui m’a rappelé des souvenirs anciens

Le contexte anonymisé (transposé à celui d’une coopérative agricole et de ses adhérents)

J’ai très récemment contacté une organisation de support pour un produit numérique. Comme je vais leur envoyer cet article, je ne vais pas dévoiler de quelle organisation ni citer de noms. De toute façon peu importe ce n’est pas un cas isolé. Je suis certain que cela peut arriver dans plein de cas. Je vais transposer à une organisation fictive mais de taille similaire.

Supposons une grosse coopérative agricole, avec à peu près 1 500 exploitations agricoles adhérentes. Cette coopérative a développé un produit numérique sur tablette ou smartphone pour ses adhérents et a réussi à l’imposer pour un process métier quelconque (disons pour les approvisionnements en produits phytosanitaires). Encore une fois tout cela est fictif.

Le produit est en production depuis quelques années 4-5 ans. Il est de bonne qualité, simple et stable. Cependant, et cela a peut-être été sous-estimé au départ lorsque la coopérative a lancé ce projet de produit numérique, il y a des évolutions à prévoir. Certaines sont imposées par les leaders du monde smartphone / tablette : à savoir Apple avec iOS/ipadOS et son Apple Store et Google avec Androïd et son Google Play Store. D’autres sont liés à des évolutions réglementaires, ou des évolutions fonctionnelles de système d’information de gestion de la coopérative (ERP) puisque le service informatique de la coopérative s’était aperçu, un peu après coup qu’il  avait aussi sous-estimé voire oublié quelques interfaces à paramétrer entre l’ERP et le logiciel qui tourne sur les tablettes des agriculteurs adhérents.

Le cas : je n’ai plus de références produits dans ma tablette !

En tant qu’agriculteur breton, adhérent de cette coopérative, je contacte le support car suite à une mise à jour de la version iPad cela ne fonctionne plus correctement. En plus d’être minoritaire avec l’utilisation de la version iPad (la plupart de mes confrères utilisent la version Androïd) j’ai une particularité juridique, car je suis aussi associé dans une exploitation d’élevage équin également adhérente de la coopérative et bref, il y a une petite particularité de paramétrage avec l’ERP de la coopérative. Tout ça pour dire que mon cas n’est pas le plus fréquent loin de là, et que je suis probablement le seul ou presque à être concerné par ce problème à l’instant où je vais contacter le SAV.

Néanmoins, ayant entendu dire que la version Androïd allait très bientôt être mise à jour également, je me dis, par solidarité avec mes confrères agriculteurs et adhérents de la même coopérative, que je vais contacter le support pour les alerter sur le problème que je rencontre, afin que d’autres n’y soient pas confrontés le jour où la mise à jour Google Play Store sera déployée (et là potentiellement ce bug aura plus d’impact).

Je contacte le support et là je suis gentiment moqué (ce que je comprends fort bien) car je considère le problème comme important alors qu’il ne l’est factuellement pas, en tout cas pas encore (c’est juste que je me projetais dans l’éventualité d’un déploiement du problème dans la version Androïd). 

Mais surtout le support me répond en substance que le problème vient de l’utilisateur et que tout fonctionne bien : « circulez y a rien à voir ». Avec un discours que j’ai maintes fois entendu “99% des problèmes sont entre la chaise et l’écran”. Objectivement, c’est vrai que beaucoup de problèmes sont liés à une mauvaise utilisation. De là à se réfugier en permanence derrière ce type de clichés pour ignorer toute remontée d’informations, ça m’horripile.

Comme le dit toujours mon collègue Louis-Alexandre et ça vient probablement de nos amis anglais : “Feedback is a gift”. Citation à méditer pour toute organisation de support / SAV.

Des souvenirs lointains qui me reviennent (et dont je pensais que je ne reverrai plus jamais la couleur)

Je dois dire que cette expérience m’a rappelé de mauvais souvenirs, parfois drôles, comme le premier d’entre eux.

Souvenir n°1 : lors d’une mission dans les années 90, chez un client qui assemblait et distribuait des PC à des entreprises avec, comme souvent à l’époque, Windows 95 et le Pack Office installé. Je constate sur ses PC, un bug avec Microsoft Word. Je m’en rappelle encore : quand on faisait Ctrl-A dans un document Word (sélection totale) ça faisait planter le PC. Ce client disposait alors de quelque chose qui n’existe plus depuis longtemps me semble t-il : un contrat de support Microsoft Office.

J’appelle le support et je leur expose mon problème.

La première question que me pose le support est “Vous êtes informaticien ou pas ? Par jeu, et aussi parce que j’avais, stricto sensu, quitté le monde de l’informatique quelques mois auparavant, je réponds “je ne suis pas informaticien”.

Là je sens immédiatement un changement de ton et, de mémoire, une sorte d’immense soulagement (voire une joie sadique) de mon interlocuteur qui embraye immédiatement (je m’en rappelle comme si c’était hier) – suis sûr vous allez pas me croire :

“Alors je vous explique : ce n’est plus comme avec le papier et le crayon, vous n’avez pas besoin de jeter votre papier en cas d’erreur ou d’utiliser un effaceur. Tout ce que vous faites peut être effacé, corrigé, ….”.

Je me suis mordu les doigts de lui avoir répondu que je n’étais pas informaticien. J’étais irrémédiablement rangé dans la catégorie des neuneus. Mon interlocuteur n’a plus jamais écouté ce que j’avais à lui dire. J’avais beau lui expliquer lui ré-expliquer…, il revenait au papier et au crayon. J’étais probablement rangé dans la catégorie des “le problème est entre la chaise et l’écran”.

Souvenir n°2. Lors d’une mission chez un transporteur routier. Je suis plutôt un homme de terrain, disons que tel Saint-Thomas j’aime bien comprendre et aller voir sur le terrain comment ça fonctionne plutôt que de rester à l’étage de la Direction Générale dans un bureau (enfin je veux dire : il faut faire les deux). Bref je comprenais un peu les contraintes du terrain, et dans le cadre d’un nouveau projet j’étais en train de soumettre à un chef de projet informatique les suggestions remontées par les opérateurs de quai et/ou les transporteurs. Sa réaction avait été immédiate “Mais on leur demande pas de réfléchir, on leur demande de transporter”. Enfin bref une phrase dans le genre. J’avais été scotché de ce genre de réflexion.

Peut-être qu’à l’époque, une éducation très tayloriste de l’industrie dans les écoles d’ingénieurs fait que l’on considérait la séparation entre les ingénieurs « qui pensent » (les « Bureaux d’Etude ») et les ouvriers « qui exécutent », comme le graal de l’organisation, mais bon sang ! j’avais une spécialité d’ingénieurs en Gestion de production industrielle et je n’ai jamais considéré que des ouvriers n’avaient pas à réfléchir sur l’amélioration des process, des procédures…

IA et Service Après-Vente : une IA tout à fait standard ferait-elle mieux qu’un mauvais SAV dans la vie réelle ?

Même si le cas rencontré n’est pas celui d’une organisation professionnelle de SAV, il est significatif

Le cas rencontré cette semaine avec cette coopérative agricole fictive est-il rare ? Probablement non. Et probablement de moins en moins rare. Des organisations qui ont l’opportunité de développer un produit numérique et de le commercialiser ou de le mettre gracieusement à la disposition de leurs clients, de leurs utilisateurs, adhérents… ça arrivera de plus en plus. Et ces organisations vont souvent faire l’erreur de sous-estimer le support / SAV, les procédures de changement / d’évolution et les tests de non-régression… j’en passe et des meilleurs. Elles n’auront souvent pas les moyens de disposer d’un support professionnel et de qualité.

Dans ces conditions, l’IA peut-elle être une bonne solution pour faire un premier niveau ou un niveau 0,5 de support et par exemple filtrer / prioriser les cas et réussir à segmenter les problèmes de bugs des problèmes d’utilisation ? Je vous laisserai faire le test avec des IA spécialisées (cf ici)

Test avec ChatGPT 4

J’ai copié dans ChatGPT le premier mail envoyé à l’adresse du support et je regarde la réponse de ChatGPT

“Mon exploitation, la GAEC PLOUARZEL PATATES et Cie n°adhérent 12345678, rencontre un gros bug sur la dernière version du logiciel COMMANDE_PHYTO en version iPad (version 1.0.32). Aucune référence de mon exploitation ou de mes différentes parcelles ne descend sur la tablette (alors que les références de mes co-exploitants sont bien présents).

Nous suspectons que cela pourrait être lié au fait que nous avons également une exploitation d’élevage équin en groupement avec la GAEC MILIZAC CHEVAL.

Nous nous connectons bien sur COMMANDE_PHYTO avec les codes de la GAEC PLOUARZEL PATATES et Cie, pas avec les codes de la GAEC MILIZAC CHEVAL.

Toutes les parcelles sont affectées, je n’ai aucune référence de produit phytosanitaire disponible

URGENT – IMPORTANCE HAUTE”

La réponse de ChatGPT 4

Cher(e) adhérent(e) de la GAEC PLOUARZEL PATATES et Cie,

Nous vous remercions de nous avoir contactés et sommes désolés d’apprendre que vous rencontrez des problèmes avec notre logiciel COMMANDE_PHYTO en version iPad (1.0.32).

Nous prenons très au sérieux votre situation, notamment en raison de son caractère urgent et de son importance élevée pour votre exploitation. Afin de résoudre au plus vite ce problème, notre équipe technique va se pencher immédiatement sur la question.

Pourriez-vous, s’il vous plaît, vérifier que votre application est bien à jour et que vous disposez de la dernière version ? Un bug de synchronisation pourrait en être la cause.

De plus, nous vous invitons à vous assurer que les permissions d’accès aux données de votre exploitation sont bien configurées dans les paramètres de l’application. Un paramètre incorrect pourrait empêcher la synchronisation de vos données.

En attendant, si vous avez besoin d’une assistance immédiate, n’hésitez pas à contacter notre support technique par téléphone au [numéro de téléphone] ou par email à [adresse email]. Nos techniciens seront ravis de vous aider en direct.

Nous nous excusons pour les désagréments occasionnés et mettons tout en œuvre pour résoudre ce problème dans les plus brefs délais.

Bien cordialement,

Le Service Après-Vente de COMMANDE_PHYTO

(je n’ai fait aucune modification, je n’ai même pas eu besoin de redemander plusieurs fois en précisant des choses). J’ai juste fait le copier coller de mon mail (transposé avec le contexte de la coopérative agricole) et c’est la première mouture de ChatGPT qui est ici copié-collé. En tout : 30 secondes à 1 minute de travail pour ChatGPT (j’ai pas pensé chronométrer)

Personnellement je trouve le résultat bluffant. Pour contredire un peu l’article de mon collègue Maxime, je pense qu’on est encore loin du model collapse.

La réponse réelle de mon interlocuteur

La réponse de mon interlocuteur : (je fais un copier-coller de deux messages – ce qui rend la réponse un peu plus caricaturale – j’espère que mon interlocuteur réel au support ne le prendra pas mal – c’est juste pour faire ressortir la différence de traitement)

Message n°1

“Bonjour,

J’aime beaucoup le concept « URGENT – IMPORTANCE HAUTE »

Il ne manque que la couleur rouge qui clignote !

Désolé je n’ai pas pu me retenir .

6 mails de questions sur un week-end à plus de 2000 commandes, je n’en rate pas un !

Ce doit être votre premier envoi et vous n’êtes donc pas habitué à ma réactivité.

Nous allons donc dissocier,= l’envoi de données et leur réception, du fonctionnement de l’application, et de la tablette, qui est l’élément matériel de ce qui précède.

Dans votre cas, c’est assez perturbant car vous donnez une partie de la réponse à votre souci dans votre mail.

Je vais néanmoins vous apporter une réponse affinée dans la journée afin de vous permettre d’appréhender le prochain week-end plus sereinement.

Pour compléter l’information , j’ai votre nom , celui de vos différentes exploitations mais pas votre rôle au sein de vos exploitations ?

Merci, affaire à suivre. »

Mail n°2

Bonjour,

Un bref résumé sans pratiquer l’humour pour être plus clair :

J’imagine que ce que vous appelez l’équipe COMMANDE_PHYTO est une terminologie interne à votre exploitation et que l’équipe de la coopérative chargée du développement et suivi de COMMANDE_PHYTO n’a rien à voir avec cela ?

La nouvelle version de COMMANDE_PHYTO  sur Android (119) comme sur Apple est stable et fiable.

La tendance très (trop) forte est de confondre l’application et les données montantes et descendantes ( en provenance de et vers la base de données de la coopérative)

Je vous remercie du conseil quand à votre suggestion sur l’amélioration de nos procédures de test.

Sachez que le nombre de « bugs » est proche de zéro ( 0 )

J’ai l’impression que vous n’avez pas bien compris l’origine possible de votre souci .
Sachez que , de notre côté , nous essayons de le comprendre .
Un numéro de commande et une date pourraient nous rendre service , je ne comprend pas si vous avez rencontré cela sur plusieurs commandes ?

Je suis désolé mais votre message manque singulièrement de précisions .

Nous ne pouvons donc pas essayer de reproduire l’anomalie. Seul moyen de l’identifier et de la résoudre

A moins que le facteur humain soit l’anomalie ( 99 % des soucis rencontrés)

Cordialement,

Mais finalement que pense ChatGPT 4 de cette réponse ?

Me prêtant au jeu, et je l’avoue ayant déjà été scotché par la première réponse de ChatGPT je me suis dit « by Jove, bon sang mais c’est bien sûr…, je vais demander à ChatGPT ce qu’il pense de la réponse de mon interlocuteur ». J’ai simplement recopié ma demande, la réponse ici présente de mon interlocuteur et demander à ChatGPT ce qu’il en pense. Voici son verdict :

La réponse du service après-vente semble inappropriée et peu professionnelle, surtout pour une situation d’urgence et d’importance élevée. Voici quelques points à considérer :

• Manque de professionnalisme : La blague initiale et le ton humoristique ne sont pas appropriés étant donné la nature urgente de la situation. Le client a besoin d’une solution, pas d’une plaisanterie.
• Manque de clarté : La réponse est longue et manque de clarté. Elle contient plusieurs points qui semblent être déconnectés les uns des autres, ce qui peut prêter à confusion.
• Pas de solution concrète : Aucune solution ou étape concrète n’est proposée pour résoudre le problème. Le message se termine en demandant plus d’informations, ce qui est une bonne chose, mais cela aurait dû être accompagné de mesures spécifiques pour résoudre le problème.
• Ton condescendant : Le message a un ton condescendant, en suggérant que le « facteur humain » pourrait être l’anomalie. Cela n’est pas approprié et pourrait être perçu comme insultant pour le client.

En conclusion, cette réponse ne semble pas être à la hauteur des attentes pour un service après-vente, surtout dans une situation urgente. Il est essentiel de maintenir un ton professionnel, de proposer des solutions concrètes et d’être clair et concis dans la communication.

Scotchant et bluffant, isn’t it ?

Vous avez besoin d’améliorer la performance de votre organisation de support et de service après-vente. Faites appel à nos services !