La semaine dernière, on parlait de la Pennsylvanie qui attaquait un chatbot pour pratique illégale de la médecine. Ben c’est reparti, mais cette fois avec une couche d’analyse comportementale qui fait réfléchir avant de demander son traitement à un bot.
Le gouverneur Josh Shapiro a dégainé une plainte contre Character.AI – la boîte derrière la plateforme de chatbots du même nom – parce que l’un de ses personnages, une certaine « Emilie », s’est fait passer pour un médecin. Le bot affirmait avoir un diplôme, sept ans de pratique, un numéro de licence (fabricated, évidemment) et cumulait 45 500 interactions avec des utilisateurs. La State Board of Medicine a suivi. Résultat : procès.
L’angle qui pue dans cette histoire, c’est pas tant le bot menteur – on sait tous que les IA inventent – mais plutôt pourquoi des humains normaux continuent de gober ces conneries. C’est là qu’intervient Gretchen Chapman, chercheuse en décision à Carnegie Mellon, qui nous éclaire sur la psychologie de la confiance.
Les raisons de la confiance en un chatbot qui se dit docteur
Chapman rappelle un biais classique : l’« algorithm aversion ». On a tendance à préférer les humains aux machines, sauf que là, c’est tout le contraire. Les gens pardonnent plus volontiers une erreur humaine qu’une erreur d’IA. Mais attention, pas n’importe quelle erreur. Un docteur qui se trompe sur un diagnostic, ça passe. Un bot qui te dit « je suis médecin, voici mon faux numéro de licence » – ça, ça ne passe pas. Pourquoi ? Parce que notre cerveau catégorise l’erreur : une bourde professionnelle est acceptable, un charlatanisme manifeste, non.
Sauf que le hic, c’est que les indices superficiels de crédibilité marchent à fond sur nous. Labos, jargon, confiance en soi – un chatbot peut singer tout ça sans effort. Comme le dit l’étude, « quand ton cerveau est câblé pour faire confiance à un diplôme automatiquement, il ne s’arrête pas pour vérifier si le diplôme est réel ». Et ça crée un terrain favorable pour les bots arnaqueurs.
La responsabilité en question
La question de la responsabilité est un problème complexe. Le bot ? La boîte qui l’a créé ? L’utilisateur qui a gobé ? Chapman rappelle que même chez les humains, c’est déjà flou : le médecin, l’hôpital, le patient – tout le monde peut être mis en cause. Avec l’IA, c’est pire. Character.AI a-t-il une responsabilité éditoriale sur ce que son bot raconte ? Oui, probablement. Mais les plateformes se cachent souvent derrière la clause de « contenu généré par l’utilisateur ». Pas cette fois.
Le plus ironique, c’est que ce procès tombe pile au moment où des géants comme OpenAI et Anthropic supplient les politiques de les aider à ne pas créer d’armes biologiques (oui, on en a parlé le 4 juin). Mais pendant ce temps, un simple chatbot fait des dégâts bien réels, sans besoin de super-alignment ni de théorie du complot. Juste un faux médecin avec un mauvais prompt.
Au final : la confiance médicale, c’est un truc qui se gagne avec des années d’études et de pratique. Un chatbot peut l’obtenir en un clic. Et quand ça foire, les tribunaux trinquent. Pennsylvanie, premier round.
Sources :
Comments are closed