Si les robots apportent des réponses chaque jour plus crédibles, l’IA présente aussi des signes de démence. Il arrive en effet aux chatbots d’inventer des faits…

Les agents conversationnels (ou chatbots) animés par l’IA sont censés nous concurrencer en termes à la fois de créativité et de présentation d’informations. Le hic, c’est qu’ils confondent les deux.

Il arrive que, au lieu de trouver des faits, ils les inventent.

A lire aussi: IA fais-moi peur

En 2022, l’essai public de Galactica, le chatbot scientifique de Meta, tourne au fiasco, les utilisateurs signalant de nombreux cas de production d’informations imaginaires, comme un article sur l’histoire des ours dans l’espace. Début 2023, éclate un scandale à propos d’articles publiés par le média américain CNET. Rédigés par l’IA, ils contenaient des conseils financiers complètement erronés. En juin de la même année, deux avocats sont punis d’une amende pour avoir cité dans la jurisprudence d’une réclamation pour dommages corporels six affaires judiciaires qui n’ont jamais existé. ChatGPT les avait inventées. En février 2024, Air Canada est obligée de respecter une politique de remboursement imaginée par son chatbot de service client. Le même mois, Perplexity AI donne une mauvaise recommandation à une personne qui venait de subir une intervention chirurgicale à cœur ouvert. Heureusement, elle ne l’a pas suivie.

A lire aussi : Initiation aux interdits?

L’Organisation mondiale de la Santé vient de lancer S.A.R.A.H, animé par ChatGPT, qui est censé donner des conseils de médecine. En avril, il fournit à un utilisateur une liste de noms et d’adresses de cliniques à San Francisco, dont aucune n’existe.

Cette tendance des chatbots à la fabulation s’appelle « hallucination » et elle est inhérente à leur mode de fonctionnement. Un des avocats leurrés par ChatGPT a prétexté qu’il croyait que c’était un moteur de recherche, mais les agents conversationnels ne répondent pas à une question de la même manière que Google. Utilisant ce qu’on appelle des « grands modèles de langage », ils sont entraînés sur de vastes quantités de textes pour produire des séquences de mots en calculant la probabilité de leur enchaînement. C’est même ce qui rend leurs inventions très plausibles. Ce défaut pourrait être mitigé, mais jamais complètement éliminé. Nous devons surtout comprendre que ces systèmes sont appelés à nous aider, non à nous remplacer.