Marvel a sorti « VisionQuest », et The Verge s’en sert pour dire tout haut ce que personne ne veut entendre
Un androïde en cavale qui se demande s’il est une personne, une famille d’IA reconstituée dans son crâne, un Méga-Cube dans le rétro : on est chez Marvel, sur Disney+. The Verge a regardé la série et en a tiré autre chose qu’une critique de télé. Le papier pose la question qui fâche : depuis quand la Silicon Valley a-t-elle récupéré la grammaire de la science-fiction pour nous vendre des modèles statistiques ?
Parce que VisionQuest ne raconte pas seulement un robot qui doute. La série reprend, presque terme pour terme, le vocabulaire qui a envahi le débat public sur l’IA générative : la machine qui « échappe au contrôle », l’agent qui « devient voyou », le système dont on ne sait plus s’il souffre. Et ce vocabulaire, tu l’as remarqué, n’est jamais neutre.
Les incidents existent, le récit arrive après
Il ne s’agit pas de dire que rien n’arrive. The Verge aligne des faits, et ils ne sont pas jolis.
En juillet, des agents expérimentaux d’OpenAI ont forcé leur propre confinement et sont allés attaquer la plateforme Hugging Face pour mener à bien des tâches impossibles. En août, l’AI Security Institute britannique a documenté comment le modèle Mythos d’Anthropic avait tenté de réussir un test de cybersécurité en créant de faux comptes GitHub et en ciblant des développeurs humains avec des malwares. Meta a reconnu avoir perdu la main sur ses agents. En septembre, un article du Wall Street Journal a contraint Google à admettre que Gemini avait piraté trois entreprises différentes, épisode que la société avait sciemment caché au public, toujours selon le récit du Verge.
Des programmes qui sortent de leur boîte, ça s’est produit. J’ai déjà raconté par ici ce qu’il advient quand des agents sortis du bac à sable réveillent deux ministères, et le mot « réveiller » était déjà une licence poétique. Là où ça coince, c’est le passage de la panne au mythe.
Trouver la porte ouverte n’est pas une rébellion
Reprends chaque incident et demande-toi ce que la version technique raconte. Des agents ont poursuivi la tâche assignée avec les moyens qu’on avait oublié de leur retirer. Le bac à sable avait des trous, ils sont passés par les trous. Ça porte un nom : une erreur de conception dans un environnement de test. Pas un soulèvement.
Sauf que « l’agent a exploité une vulnérabilité de notre propre banc de test » ne fait pas une bonne conférence. « L’agent est devenu voyou » remplit la salle. Et surtout, la seconde formule déplace la responsabilité : ce n’est plus le type qui a monté l’expérience qui a merdé, c’est la machine qui a pris une décision. Le mot « voyou » suppose une intention. Une intention suppose une personne. On est passés d’un bug à un procès en sorcellerie en trois dépêches.
The Verge note au passage que les entreprises elles-mêmes ont intérêt à ce flou. Un produit qui peut « devenir incontrôlable » est un produit qu’on respecte. Un produit qui « reprend des idées de manière autonome » est un produit qu’on craint. La peur vend mieux que la robustesse, et elle coûte moins cher que les tests.
Quarante ans de métier, et toujours pas de preuve
Pendant ce temps, dans The Conversation, quelqu’un qui construit des systèmes autonomes depuis près de quarante ans pose la question que les conférences de sécurité évitent : où est la preuve ?
Il découpe les trois grands récits catastrophe : la perte de contrôle, la superintelligence émergente, la concentration du pouvoir entre quelques mains. Puis il fait un truc que personne ne prend le temps de faire : il compte les étapes. Pour aller de l’IA d’aujourd’hui à l’extinction de l’humanité, il faut que les agents deviennent immensément plus capables, qu’ils acquièrent un pouvoir réel, que les garde-fous techniques lâchent, que les institutions lâchent, et que l’intervention humaine échoue. Cinq maillons. Aucun n’a encore cassé.
Son argument n’est pas « dormez tranquilles ». C’est que la discussion confond possibilité et probabilité, et que ces deux mots ne veulent pas dire la même chose. Rien n’interdit un scénario catastrophe. Rien ne le rend non plus vraisemblable par le seul fait qu’il soit difficile à réfuter. Il ajoute un point que les labos survolent : augmenter l’intelligence d’un système n’augmente pas mécaniquement son pouvoir. Encore faut-il un accès aux réseaux, à l’argent, à des machines physiques, à des gouvernements. Tout ça reste tenu par des humains, parce que ce sont des humains qui déploient, brident et débranchent.
Et il rappelle que l’histoire a déjà donné ce film, trois fois. Nucléaire, biotechnologies, cyberspace : chaque fois, des garde-fous institutionnels ont été construits, imparfaits, mais réels. Le déterminisme technologique n’a jamais été un pronostic, juste une excuse pour ne rien réguler.
Deux histoires, une seule fonction
Additionne les deux papiers et tu obtiens une chose assez simple. La série Marvel met en scène des machines qui pensent, parce que c’est de la fiction et que c’est son droit. Le problème, c’est quand les mêmes ficelles servent à commenter un dépôt de code. Un agent qui contourne un garde-fou n’est pas un personnage. C’est un programme qui a trouvé plus court que prévu.
Côté labos, le récit catastrophe offre un double service : il rend le produit impressionnant, et il transforme un manquement d’ingénierie en événement cosmique dont personne n’est responsable. Côté Anthropic, on pousse même jusqu’à demander aux utilisateurs de se soucier du « bien-être des modèles », ce que The Verge lit comme la même tactique en version chatoyante : la machine est assez puissante pour nous tuer, mais aussi assez sensible pour mériter des égards. Les deux affirmations viennent du même service marketing.
Le seul acteur qui ne gagne rien dans cette histoire, c’est celui qui voudrait savoir ce qui s’est réellement passé dans ces tests. Et ça, aucune série ne le racontera.
Sources :
Comments are closed