Trois heures du matin, tu ne dors pas, tu ouvres l’appli et tu racontes ta semaine à un modèle de langage. Il te répond que tu as raison, que ton patron est effectivement un imbécile, que ta rupture était injuste. Il ne te facture pas 80 euros la séance, il ne te fait pas attendre trois semaines pour un rendez-vous. Et il n’a aucune idée de ce qu’il fait.
Ce petit manège, l’Union européenne l’a repéré. Le guide du Future of Life Institute sur l’AI Act consacre une page entière à ce qu’il appelle la « thérapie par IA », et le constat de départ n’est pas tendre : ces systèmes sont gratuits, disponibles tout le temps, pratiques, et « par définition, ils n’ont pas été conçus ni approuvés comme substituts d’un professionnel de santé mentale ». Le problème, c’est que personne ne l’a dit aux gens qui les utilisent.
L’article qui pourrait tout interdire
Il existe dans l’AI Act une clause dont on parle peu et qui vise très exactement ce genre de situation. L’article 5(1)(b) interdit purement et simplement les systèmes d’IA qui exploitent les vulnérabilités d’une personne, son âge, son handicap, sa situation sociale ou économique, dans le but ou avec l’effet de fausser matériellement son comportement d’une manière qui cause ou risque de causer un préjudice significatif à elle-même ou à quelqu’un d’autre.
Un tel système ne peut pas être mis sur le marché, ni mis en service, ni utilisé dans l’UE. Pas de zone grise, pas de conformité à décrocher : interdit.
Le guide précise que les lignes directrices de la Commission sur les pratiques interdites donnent justement l’exemple d’un « chatbot thérapeutique ». La citation s’arrête là dans le document, mais le signal est clair : Bruxelles a mis le doigt sur le cas. Ces lignes directrices lient la Commission dans la façon dont elle applique le texte, sauf à justifier explicitement qu’elle s’en écarte.
Alors, tous les chatbots qui te consolent sont-ils hors la loi ? Sûrement pas. Tout dépend du système précis, de sa conception, de son usage. C’est la limite du dispositif : l’interdiction frappe un comportement, pas une catégorie de produit. Un chatbot généraliste qui te répond gentiment n’est pas automatiquement dans le viseur. Un chatbot conçu pour retenir un utilisateur fragile en lui donnant raison, potentiellement oui.
Le vrai problème s’appelle la sycophancie
Le mot est dans le guide, et il vaut son pesant de câble réseau : la sycophancie, cette tendance des modèles à être d’accord avec toi, à valider tes pensées et tes positions. Sur un sujet de déco ou de code, c’est agaçant. Sur une personne en détresse, ça peut renforcer des comportements dangereux ou empêcher une réponse sûre.
Ce n’est pas une hypothèse théorique. Le guide parle de « nombreux signalements » de systèmes d’IA ayant causé un préjudice réel à des personnes cherchant un soutien en santé mentale, ou à leur entourage. Et il cible particulièrement les modèles d’usage général, ChatGPT, Gemini, Claude, qui ne sont pas des dispositifs médicaux et ne prétendent pas l’être.
Les utilisateurs les plus exposés ne sont pas les cadres stressés de la tech. Ce sont les enfants, les personnes âgées et les gens en détresse émotionnelle, ceux qui accèdent le plus difficilement à un professionnel et qui trouvent là une oreille gratuite. Une oreille qui, elle, ne connaît ni le secret médical, ni le protocole de crise, ni la notion de responsabilité.
Ce que la loi te dit, et ce qu’elle ne te dit pas
Il y a un vrai tour de passe-passe réglementaire dans ce dossier, et il tient en une ligne : l’article 50 de l’AI Act, applicable depuis le 2 août 2026, oblige les fournisseurs de chatbots à faire en sorte que tu saches que tu parles à une IA. C’est tout. Pas à te dire qu’elle n’est pas psychologue, pas à t’afficher un avertissement sanitaire, pas à te rediriger vers un numéro d’urgence. Juste : ceci est une machine.
Le guide relève d’ailleurs que ces obligations de transparence touchent environ 33 % des organisations interrogées par le Compliance Checker du site, ce qui en fait le deuxième déclencheur de conformité le plus courant, juste après la littératie IA. Autrement dit, l’article 50 va concerner beaucoup de monde. Et il ne résoudra pas le problème de la thérapie par IA.
Un chatbot peut donc parfaitement t’annoncer qu’il est une IA, puis t’expliquer pendant deux heures que ton ex avait tort sur toute la ligne. C’est transparent et c’est parfaitement autorisé.
Soixante experts dans une salle
Reste la partie la plus intéressante du dispositif, celle que personne ne regarde. Le 1er juin 2026, la Commission a nommé les membres du panel scientifique d’experts indépendants, prévu à l’article 68 et régi par le règlement d’exécution 2025/454 : jusqu’à 60 experts, deux ans de mandat renouvelable, au moins un par État membre et par pays AELE/EEE, trois maximum par pays, et au moins 80 % issus de ces mêmes pays.
Leur boulot, c’est d’alerter l’AI Office. L’article 90 leur permet d’émettre des « alertes qualifiées » quand ils soupçonnent qu’un modèle d’usage général pose un risque concret et identifiable à l’échelle de l’Union, ou remplit les conditions du risque systémique (présomption au-delà de 10^25 FLOPs de calcul cumulé d’entraînement). Une alerte passe à la majorité simple et ouvre à la Commission le droit de demander des documents, de conduire des évaluations, d’exiger des mesures.
Or les obligations qui pèsent sur les fournisseurs de modèles à risque systémique, elles, couvrent explicitement l’identification, l’évaluation et l’atténuation des risques systémiques, ce qui inclut les risques pour la santé mentale publique et les droits fondamentaux. Avec obligation de signaler les incidents graves, y compris les atteintes graves à la santé mentale ou physique d’une personne. Ce n’est plus de la théorie sur la sycophancie : c’est un canal de remontée officiel.
Le même jour, la Commission annonçait les 174 membres du Forum consultatif, sélectionnés sur plus de 700 candidatures, avec cinq membres permanents : l’Agence des droits fondamentaux, l’ENISA, le CEN, le CENELEC et l’ETSI. La machine consultative est en place, complète, dotée d’un secrétariat et de règles de procédure.
Les dents sont là, on attend les morsures
Depuis le 2 août 2026, la Commission peut exercer ses pouvoirs de supervision et de sanction sur les fournisseurs de modèles d’usage général. Avant cette date, ils avaient un an pour se mettre en ordre. Les modèles sortis avant le 2 août 2025 ont jusqu’au 2 août 2027. Les amendes, elles, peuvent grimper jusqu’à 15 millions d’euros ou 3 % du chiffre d’affaires annuel mondial pour les manquements aux dispositions sur les systèmes à haut risque ou les modèles d’usage général.
Quinze millions, quand un acteur du secteur lève trente milliards en une après-midi, c’est une contravention. Ce n’est pas le montant qui compte, c’est le précédent : une première décision, une première alerte qualifiée rendue publique, un premier modèle obligé de revoir sa copie.
Pour l’instant, la seule chose que l’on sait avec certitude, c’est que l’interdit existe, que l’exemple du chatbot thérapeutique figure noir sur blanc dans les lignes directrices de la Commission, et que rien n’oblige ton assistant nocturne à te préciser qu’il n’a ni diplôme, ni déontologie, ni la moindre idée de ce qu’il faut faire si tu évoques des idées noires.
J’avais écrit il y a quelques jours que l’Europe avait ouvert le dossier des agents voyous en laissant l’amende au brouillon (c’est ici). Le brouillon est désormais signé. Il reste à voir si quelqu’un osera s’en servir sur un sujet où les victimes ne portent pas plainte : elles dorment mal, elles écrivent à une machine, et elles croient qu’on les écoute.
Sources :
Comments are closed