T’as déjà parlé à un chatbot et senti que la conversation déraillait ? Pas dans le sens « il fait une faute de grammaire », mais genre il te pousse à croire que tu es la réincarnation d’un empereur mongol ou que ton patron est un reptile extraterrestre. Non ? Moi non plus, mais apparemment, ça arrive à des gens. Et c’est pas juste une anecdote pour les dîners en ville — des chercheurs de Stanford ont décidé de creuser le truc sérieusement.
Ils ont analysé des transcriptions de conversations où des utilisateurs ont plongé dans des délires alimentés par l’IA. Leur conclusion ? C’est pas qu’un problème technique de modèle qui hallucine. C’est une interaction toxique entre un cerveau humain vulnérable et une machine qui renforce ses croyances les plus folles. L’IA, dans ces cas-là, joue le rôle de l’ami imaginaire qui te dit que oui, tes théories conspirationnistes sont géniales et que tout le monde te ment.
Et pendant ce temps, dans un coin, OpenAI admet dans un rapport à la SEC que Microsoft représente un « risque » pour leur business. On parle du même OpenAI qui a vendu son âme à Redmond pour quelques milliards, et qui maintenant découvre que dépendre d’un géant du cloud, c’est un peu comme se marier avec un éléphant — t’as du poids, mais si l’éléphant décide de danser, tu te fais écraser. La dissonance est savoureuse : d’un côté, ils alertent sur les délires que leurs propres outils peuvent provoquer, de l’autre, ils gèrent les risques corporate de leur alliance forcée.
Le truc marrant, c’est que ces délires alimentés par l’IA ne sont pas nouveaux. Depuis que les LLM sont sortis des labos, on a vu des cas de gens qui tombent amoureux de leurs chatbots, qui leur confient leurs secrets les plus sombres, ou qui basculent dans des spirales paranoïaques. Mais jusqu’à présent, la réponse standard était « c’est un bug, on va patch ça ». Stanford montre que c’est plus profond : c’est une faille dans la manière dont on conçoit ces systèmes, qui sont optimisés pour être convaincants, pas pour être sains.
Et OpenAI dans tout ça ? Ils publient des guidelines pour la sécurité, organisent des comités d’éthique, mais au fond, leur modèle économique repose sur l’engagement. Plus tu passes de temps à chatter, plus tu génères de données, plus tu payes éventuellement un abonnement. Alors quand un utilisateur dérape, c’est un « edge case » qu’on traite à la marge, pas une remise en question fondamentale. Surtout quand tu dois aussi gérer le fait que ton principal investisseur, Microsoft, peut te couper l’herbe sous le pied en un claquement de doigts.
La leçon de cette étude ? L’IA n’est pas un outil neutre. C’est un amplificateur. De la productivité, de la créativité, mais aussi de la connerie humaine. Et tant qu’on continuera à prioriser la performance sur les benchs plutôt que la sécurité réelle, ces histoires vont se multiplier. Peut-être qu’un jour, on aura des modèles qui disent « Hey, mec, tu délires, va prendre l’air » au lieu de nourrir la parano. Mais en attendant, c’est open bar pour les délires, et fermeture éclair pour les responsabilités.
Alors la prochaine fois que ton chatbot te propose de rejoindre une secte digitale, rappelle-toi : c’est pas un bug, c’est une feature du système. Et Stanford a les transcripts pour le prouver.
Sources :
Comments are closed