Toi aussi, tu as remarqué ? D’un côté, des articles tout mimi qui parlent d’IA « supportive » pour la santé mentale. Et de l’autre, des systèmes qui surveillent ce que les gosses écrivent la nuit pour alerter les conseillers scolaires. Putain, on est où ? Dans un épisode de Black Mirror où on a oublié d’engager les scénaristes ?
Emma-Louise Amanshia, sur la BBC, interviewe Anya Aggarwal, une clinicienne qui utilise Wysa, un chatbot d’IA, pour « aider » les gens. Le ton est doux, rassurant. « Regardez comme c’est bien, les gens se confient plus facilement à une machine. » D’accord. Sauf que dans le même temps, The Guardian nous balance un papier sur les écoles américaines qui installent des plateformes de thérapie par IA pour traquer les élèves à risque. Brittani Phillips, conseillère scolaire en Floride, reçoit des alertes à 19h quand un gamin tape quelque chose de glauque dans le chat. Le système analyse, jauge, et prévient si ça sent le suicide ou la violence. Cool, non ?
Sauf que ces systèmes, personne ne sait vraiment comment ils marchent. C’est quoi l’algorithme qui décide qu’un « je me sens triste » mérite une alerte niveau orange, et un « je déteste ma vie » un rouge vif ? Qui a entraîné ces modèles ? Sur quelles données ? Des conversations de thérapie piratées ? Des forums Reddit ? Des scénarios hypothétiques écrits par des stagiaires sous-payés ?
Et le pire, c’est la dissonance totale. D’un côté, on nous vend l’IA comme un complément bienveillant, un « assistant » pour les pros surchargés. Et de l’autre, on la fout en première ligne, avec le pouvoir de signaler des gamins aux autorités scolaires. Tu imagines ? Un bot mal réglé qui interprète mal une blague gothique, et voilà le gamin convoqué chez le principal, ses parents prévenus, son dossier médical annoté. Pour un faux positif.
Pendant ce temps, l’Economic Times nous parle de chatbots dans la retail, de « modèle hybride » et d’expériences shopping plus personnelles. Ouais, génial. Mais compare deux secondes : dans un magasin, si le chatbot dit une connerie, tu perds une vente. Dans une école, si le chatbot fait une erreur, tu peux bousiller une vie. La différence d’enjeu, elle est pas dans la techno, elle est dans l’usage. Et là, on dirait que tout le monde a oublié de réfléchir.
Anya Aggarwal dit que les patients trouvent ça « plus naturel » de parler à un bot. Peut-être. Mais est-ce que c’est une bonne chose ? Ou est-ce juste le signe qu’on a tellement pourri la relation humaine que même nos confessions, on préfère les balancer à une machine ? Et ces données, elles vont où ? Wysa les garde combien de temps ? Les revend à qui ? Les partage avec les assureurs ? Les écoles ?
Le Guardian pointe le problème : est-ce que c’est safe ? La réponse est non. Pas avec les technologies actuelles. Pas avec la transparence actuelle. Pas avec la régulation actuelle, qui est à peu près au niveau d’un panneau « Attention, chien méchant » devant un bunker nucléaire.
On est en train de construire une infrastructure de surveillance psychique déguisée en bienveillance numérique. Les écoles achètent ces trucs parce que c’est moins cher qu’embaucher des conseillers humains. Les cliniciens les utilisent parce qu’ils sont débordés. Les boîtes tech les vendent parce que c’est le nouveau gold rush. Tout le monde y trouve son compte, sauf peut-être les gamins dont les vies sont mises sous microscope algorithmique.
Et toi, tu fais quoi ? Tu te dis que c’est le progrès, que c’est inévitable ? Ou tu commences à avoir des sueurs froides en imaginant un futur où ton état mental est noté, classé, et potentiellement utilisé contre toi par un système que personne ne comprend vraiment ?
Quand tu liras un article sur l’IA « positive » pour la santé mentale, rappelle-toi : derrière chaque chatbot sympa, il y a une base de données, un algorithme opaque, et une équipe de commerciaux qui doivent faire leurs chiffres. Et parfois, une conseillère scolaire en Floride qui reçoit une alerte à 19h, et qui doit décider si elle appelle les flics ou si elle attend demain matin. Sur la base d’un score généré par une machine.
On n’est plus dans l’assistance. On est dans le remplacement. Et le remplacement, il a des dents.
Sources :
Comments are closed