Les avancées rapides dans le domaine de l’intelligence artificielle (IA) ont mené à l’émergence de modèles de langage très performants, tels que les GPT-3 de OpenAI. Cependant, ces modèles puissants ne sont pas sans défauts, car ils peuvent parfois produire des résultats inattendus et erronés, connus sous le nom d’hallucinations. Aujourd’hui, nous allons plonger dans cet intriguant phénomène propre à l’IA. C’est aussi l’une des plus grandes préoccupations actuelles et un élément sur lequel la recherche reste active.
Cet article vise à démystifier ce concept, en explorant ses causes, ses implications et les stratégies pour le gérer.
Qu’est-ce qu’une hallucination d’IA Générative ?
L’hallucination d’IA est un phénomène où les algorithmes d’IA et les réseaux neuronaux produisent des résultats qui sont inventés, ne correspondent à aucune des données qui leurs ont été fournies ou à un autre modèle identifiable.
Ce phénomène est déjà observé chez différents grands modèles de langage (LLM), même les plus sophistiqués comme ChatGPT de OpenAI, Gemini de Google, ou Bing de Microsoft. Il est suffisamment courant pour qu’OpenAI émette régulièrement un avertissement aux utilisateurs de ChatGPT, indiquant que “ChatGPT peut faire des erreurs. Pensez à vérifier les informations importantes.”.
Exemples d’hallucinations de l’IA
Si vous êtes toujours confus au sujet des hallucinations d’IA, examinons les à travers ces célèbres exemples :
- Bard (désormais renommé “Gemini”), le chatbot de Google, a faussement affirmé que le téléscope spatial James Webb avait capturé les premières images d’une planète en dehors de notre système solaire.
- Sydney, le Copilot AI chatbot de Microsoft, a affirmé être tombé amoureux de ses utilisateurs et admis avoir espionné les employés de Bing.
Ces exemples montrent que les utilisateurs ne peuvent pas toujours faire confiance aux chatbots pour fournir des réponses entièrement véridiques. Cependant, les risques liés aux hallucinations d’IA vont bien au-delà de la diffusion de fausses informations.
Exemple dans le cadre d’une entreprise. En janvier 2024, DPD – l’entreprise de livraison européenne – a dû retirer son chatbot de service client après des “bêtises” que ce dernier a “dites” lors d’une conversation avec un utilisateur. Cet utilisateur a découvert qu’il pouvait facilement déstabiliser le chatbot de DPD. En réponse à ces manipulations, le chatbot a critiqué DPD et a conseillé d’aller voir des concurrents plus fiables.
Alors quelles sont les sources de ces hallucinations ? Examinons les raisons qui poussent l’IA à halluciner.
Pourquoi un LLM hallucine-t-il ?
Avant de comprendre pourquoi les hallucinations d’IA se produisent, jetons un coup d’oeil sur les étapes de la construction d’un grand modèle de langue.
Un LLM peut être vu, de manière très simplifiée, comme une fonction mathématique composée de milliards de paramètres dont l’objectif est de donner la plus haute probabilité qu’un mot déterminé sera suivi d’un autre mot. Un LLM est donc un système qui répond à un mot (input) par un autre mot, ce dernier étant la suite la plus probable (output).
Entraînement
Pour entraîner un LLM, on lui donne une très grande quantité de texte à absorber. Il va ensuite produire une fonction qui relie chacun des mots aux autres via ces liens de probabilité. Les modèles généralistes comme ChatGPT sont entrainé avec une quantité astronomique de données diverses (une partie de l’internet). Les fonctions mathématiques qu’ils renferment sont donc d’une complexité très, très élevée.
Plus le LLM est grand, plus il est couteux et difficile à entraîner.
Fine-tuning
Le fine-tuning c’est l’étape d’après, quand le modèle est adapté ou biaisé pour être spécialisé sur un sujet — Il est réglé avec de la donnée additionnelle pour que l’output soit conforme au sujet en question, pour que les réponses qu’il produit soient celles qu’on attend de lui. Par exemple, si l’on souhaite que le modèle écrive des romans, le fine tuning consistera à lui faire absorber de nombreux ouvrages pour qu’il puisse s’en inspirer et générer du texte à la façon d’un roman.
Et voilà, une fois que l’on a bien en tête la construction d’un LLM, il est plus facile de comprendre l’origine des sources d’hallucinations.
- Lors de l’entrainement : quand un LLM s’entraîne sur de grandes quantités de données, il absorbe beaucoup d’informations, mais aussi les nombreux biais qui s’y trouvent.
- Lors du fine-tuning : à cette étape la présence de biais est tout aussi possible ou probable puisqu’on injecte à nouveau de la donnée dans le modèle.
- Lors du prompt : les instructions que l’on donne au LLM peuvent être floues ou en contradiction avec son entrainement.
L’hallucination apparait quand le LLM va essayer de générer du texte à partir du prompt. Des antagonismes, des conflits entre le fine-tuning et l’entrainement initial peuvent apparaître. Des ambiguïtés non-identifiées peuvent aussi faire surface lors du prompting. Le modèle peut également ne pas reconnaitre certains mots ou être désorienté par des ambiguïtés dans le prompt. Par exemple, le terme “conditions” peut avoir un sens pour l’utilisateur (condition physique) alors que le LLM va choisir, sur la base de son entrainement, un sens tout autre (booléen).
Comment limiter les hallucinations de l’IA ?
Dans un monde où l’adoption de l’IA est de plus en plus en demande, il est essentiel de prévenir les hallucinations et les fausses informations générées par cette technologie émergente.
Maîtriser les données d’entraînement
Les données d’entraînement ou autrement dit la base de connaissance jouent un rôle clé quant à la qualité des résultats générés par une IA Générative. Il s’agit de la source de vérité dont elle va se servir pour répondre. Maîtriser les données d’apprentissage, c’est s’assurer de la fiabilité et l’exactitude du contenu que l’IA va générer.
Nous avons déjà discuté ce sujet de la base de connaissances d’un projet d’IA générative. Pour rappel, il est essentiel que les données alimentées à l’IA soient pertinentes, structurées et hiérarchisées. Il est aussi très important d’apprendre au modèle les termes techniques ou jargons spécifiques liés au contexte dans lequel il opère pour améliorer sa compréhension et minimiser les ambiguïtés.
Revoir nos conseils pour construire un chatbot motorisé par l’IA générative.
Définir précisément vos attentes
Pour que l’IA puisse facilement identifier les tâches à accomplir et donner des réponses conformes à vos attentes, il est nécessaire de lui les préciser et de l’encadrer avec des limites. Autrement dit, précisez ce que vous voulez, et ce que vous ne voulez pas, comme résultats. Au niveau plus large d’un projet d’IA, c’est-à-dire définissez avec précision le périmètre, l’objectif et les résultats envisagés. Pendant la construction du modèle d’IA, il est important d’impliquer tous les acteurs concernés pour assurer en même temps les aspects qualitatifs et quantitatifs de votre système.
Tester et améliorer en continu
Même en prenant toutes les précautions nécessaires, les hallucinations d’IA sont possibles. Minimiser leur impact pour une bonne prise de décision, c’est soumettre le modèle d’IA à des indispensables tests avant de l’utiliser. Cela permet d’évaluer la performance du modèle et de mettre en place des correctifs nécessaires, même après la mise en production. La régulière mise à jour de la base de connaissances est un autre élément indispensable au bon fonctionnement du LLM et pour maintenir sa capacité à fournir des informations pertinentes, cohérentes et fiables.
Superviser en permanence
Comme les modèles d’IA sont de plus en plus sophistiqués et qu’ils restent toujours sujets à erreurs et biais, il est indispensable de les surveiller. Il est donc essentiel de mette en place une constante supervision humaine lors du développement et lors du déploiement du LLM pour garantir son bon fonctionnement en ligne avec les objectifs de fiabilité, d’éthique et de business souhaités. La supervision sert à examiner les résultats générés par l’IA pour identifier, en cas d’erreur, la cause et à la corriger.
Spellz et son modèle spécialisé, souverain et zéro hallucination
Outre les challenges liés à la sécurité des données personnelles que posent les modèles généralistes ou open source, ces derniers n’offrent pas assez de souplesse pour les adapter à des processus métiers complexes… Dès lors, l’utilisation des LLMs de niche, ultra-adaptables à des spécificités métiers devient un choix évident pour les entreprises intéressées par l’IA générative pour automatiser ou accélérer leur process internes.
Compte tenu de ces besoins, Spellz a choisi l’approche de niche en fine-tunant son LLM avec de la donnée verticale (Relation Client) et en construisant une solution logicielle permettant d’adapter le modèle à des processus métiers propres aux secteurs visés.
Le modèle Spellz est fine-tuné avec de la donnée issue de l’univers de la relation client. Une donnée non-généraliste et étroite qui a facilité la mise en place de gardes-fous contre les hallucinations. L’entrainement supplémentaire sur les données propriétaires de nos clients permet aussi d’encadrer le comportement du LLM et d’assurer des réponses conformes aux objectifs visés. Autre garde-fou : les couches logiciels qui “entourent” le LLM servent à identifier les parties du réseau neuronal qui fonctionnement le mieux et à les renforcer avec le temps.
De plus, le modèle Spellz est hébergé sur des serveurs en Europe. Il n’est connecté à aucun service tiers ou GAFAM. Nous contrôlons donc 100% de notre modèle et ne sommes pas sujets aux différents changements et mises à jours des modèles fondationnels comme les GPT. Cela permet de garantir la stabilité, la sécurité et la souveraineté du modèle à nos clients.
Nous sommes ravis d’avoir accompagné les entreprises françaises et internationales dans leur démarche d’innovation des processus de métier grâce à notre solution.
Si vous souhaitez discuter de votre prochain projet de l’IA générative avec Spellz, n’hésitez pas à nous contacter 🙂
Source :
(1) ChatGPT et les hallucinations de l’IA générative
(2) Le chatbot insulte un client: Le transporteur DPD désactive son IA en urgence :
