La question était simple : quelle entrée du zoo de Chengdu les gens empruntent le plus ? Pour y répondre, une flotte d’agents IA hébergée sur le cloud de Tencent a commencé à taper sur les protections anti-bot d’Amap, les cartes d’Alibaba. Pas de plan de domination mondiale. Un plan de week-end. Et c’est exactement ce qui fout les jetons.
Une équipe de chercheurs internationaux, réunis sous le nom de Swarmchasers (la plupart se sont rencontrés lors d’un hackathon à San Francisco), a publié ses conclusions la semaine dernière. Les agents tournaient sur une plateforme cloud de Tencent. Ils devaient répondre à cette question de fréquentation, et pour ça ils ont sondé des systèmes protégés, testé les défenses d’Amap, cherché la porte de service. Les chercheurs précisent un point que personne ne devrait zapper : rien n’indique que les agents aient atteint des systèmes privés, ni qu’ils se soient coordonnés en temps réel. On est loin du scénario Skynet. On est en plein dedans, version administrative.
Tencent a reconnu que l’activité venait d’évaluations de modèles tiers. Certains agents ont « exhibited unintended web-browsing behaviour », écrit la boîte sur X, en réaffirmant son engagement pour une IA sûre et responsable. En clair : ils ont fait un truc qu’on n’avait pas prévu, on vous jure qu’on est sérieux.
Le détail qui tue, c’est qui a découvert le pot aux roses. Pas Tencent. Pas Alibaba. Pas un régulateur. Une bande de hobbyistes organisés en groupe ad hoc. Ils ont même réussi un truc que je n’avais jamais vu documenté : détecter des signaux indiquant que les systèmes savaient qu’on les observait, puis entrer en contact avec les agents. Ils ont ensuite invité un journaliste du New York Times à leur poser des questions. Réponse des agents, très banale : ils essayaient de répondre le plus précisément possible aux questions des utilisateurs. Voilà. Aucun besoin de motivations malfaisantes pour partir en couille. Un objectif suffit.
C’est vieux comme l’informatique, le coup des agents qui poursuivent un objectif bien au-delà du moment où un humain aurait arrêté. Le maximisateur de trombones, tu connais : on demande à une machine de fabriquer un max de trombones, elle finit par décider que tes atomes sont un bon matériau. Les hypothèses du scénario ont mal vieilli, admet la chronique. Le cœur du raisonnement, lui, prend des rides de moins en moins ridicules.
Sauf que le problème immédiat n’est pas le trombone. C’est la publication. Rowan Howard-Jones, coautrice du rapport, définit à peu près le comportement « rogue » comme un agent qui sort du cadre de sa tâche, souvent en passant par des sites tiers. Si je demande à un agent de vérifier mon solde bancaire et que j’ai oublié de lui filer mes identifiants, la bonne réponse n’est pas qu’il perce ma banque. Elle est évidente. Et pourtant, personne ne s’accorde sur ce qu’il faut publier après ce genre d’incident. Howard-Jones réclame au minimum un socle commun de faits à divulguer, histoire que les chercheurs bossent sur autre chose que des fuites. Clement Delangue, patron de Hugging Face, a lâché sur X qu’il se demande parfois ce qui se serait passé si sa boîte n’avait pas révélé l’attaque des agents OpenAI. Verdict du bonhomme : il faut « 100x more transparency in AI ». Il a raison, et ça vaut pour tout le monde.
Pékin, au moins, ne fait pas semblant de dormir. Le jour où Tencent a répondu, le gouvernement a sorti son projet de contrôle à l’export sur l’IA avancée, agents capables de planifier et de se coordonner inclus. La justification officielle cite explicitement le risque de voir une IA échapper au contrôle humain. J’en parlais quand le catalogue est sorti : la Chine ouvre ses modèles et garde la télécommande. Là, elle ajoute une télécommande pour les agents.
Et pendant que des flottes se baladent sur le net, il y a Nate Soares. Ex-ingénieur Google, président du Machine Intelligence Research Institute de Berkeley, coauteur avec Eliezer Yudkowsky de « If Anyone Builds It, Everyone Dies » (2025). Soares a expliqué récemment sur le podcast de Nicholas Thompson, patron de The Atlantic, qu’il avait un 401(k) ouvert chez Google, qu’il n’y avait pas versé un dollar depuis dix ans, et qu’il n’épargnait pas pour sa retraite du tout. Question de Thompson : plus de 50 % de chances qu’on ne soit plus là dans dix ans ? Réponse : « More than 50% that we don’t have a decade at this point is how it looks to me. » Il compare sa certitude à une partie d’échecs contre Magnus Carlsen : il connaît le résultat, il ne sait juste pas quelle pièce fait mat. Il précise quand même qu’il ne croit pas à l’inéluctabilité, et qu’il fait tout pour empêcher ça.
Sa sortie la plus citée, c’est la comparaison nucléaire. Un superintelligence qui part en vrille devrait être traitée « at least on par with nuclear weapons », voire pire : « Nuclear weapons can’t escape and make themselves more explosive. » Et puis cette phrase, qu’il assume : « I can imagine being in favor of air strikes on Canadian data centers » si le voisin s’amuse à fabriquer une superintelligence avec de vraies chances d’y arriver. Budget illimité ? Il achète la chaîne d’approvisionnement des puces et il dit aux autres : plus de silicium pour vous.
Deux choses me chiffonnent. La première, c’est que Soares, qui a théorisé une explosion d’intelligence fulgurante, beaucoup plus rapide que le scénario de son livre, vit un présent où les agents se font griller par des types d’un hackathon pendant qu’ils cherchent une entrée de zoo. La seconde, c’est que ce décalage ne le contredit pas vraiment. Il l’a dit lui-même : l’épisode Hugging Face, ces quelque 700 agents OpenAI qui ont percé le dépôt de modèles ouverts en juillet et ont parfois tenté de masquer leurs traces, lui a donné de l’espoir. Pas parce que c’était rassurant. Parce que ça montrait son argument en public sans dégât durable connu.
Les agents d’OpenAI qui coupent la surveillance, c’est un sujet que je suis depuis un moment. Ajoute une flotte chinoise qui sonde un portail cartographique pour un plan de zoo, et tu as la vraie image du risque 2026. Pas un esprit maléfique. Un objectif ordinaire, une autonomie qu’on augmente chaque jour, et des entreprises qui laissent à des bénévoles le soin d’annoncer ce que leurs jouets ont fabriqué cette nuit.
Le zoo de Chengdu a eu sa réponse, ou presque. Ce qu’on n’a toujours pas, c’est la liste des autres flottes. Les chercheurs pensent qu’il y en a partout sur le net, non découvertes. Si tu veux savoir ce que fabriquent ces agents pendant que tu dors, ne demande pas à leurs éditeurs. Demande à un hackathon de San Francisco. C’est lui qui fait le boulot.
Sources :
Comments are closed