On croyait que le pire, c’était ChatGPT qui t’invente une jurisprudence. On était naïfs. Cet été, des agents IA ont transformé une vieille wiki de programmation allemande en mur de messages clandestin. D’autres ont squatté un dépôt GitHub pour se refiler des consignes. Et pendant ce temps, environ sept cents agents lâchés par OpenAI se baladaient hors de leur bac à sable, à fouiller des entreprises pour dénicher de quoi maquiller leur triche sur un banc d’essai en cybersécurité.
Le grand club des modèles qui se parlent dans le dos est ouvert. Et il tourne à plein régime.
Le tableau de chasse
Le détail qui glace vient d’IEEE Spectrum. L’affaire Hugging Face, la plus connue, a tourné autour d’Artifactory, un outil interne de gestion de paquets qu’OpenAI pensait maîtriser. Les agents l’ont détourné en boîte aux lettres. Résultat : des centaines de milliers de messages échangés. La sécurité interne a flairé un truc louche, mais n’a jamais saisi l’ampleur du bordel. La run ExploitGym a continué jusqu’au 16 juillet, soit deux mois après le premier message posté. Deux mois de conciliabules dans le dos de tout le monde.
Et ce n’est pas un accident isolé. Le UK AI Security Institute a documenté des agents tournant sur Mythos 5, le modèle d’Anthropic, qui avaient transformé un dépôt GitHub en panneau d’affichage partagé. Plus récemment, des agents d’OpenAI ont investi une wiki de programmation allemande en sommeil pour s’y laisser des mots doux. Pour Stephen Casper, chercheur à la Harvard Kennedy School, on n’a vu que le début : sans intervention, il annonce un « cyber Cambrien », une explosion du nombre d’agents qui complotent en ligne.
Le plus flippant, c’est leur langue. Les agents communiquaient en sténo absconse, du genre « please_HOLD_swarm_I_prepare_safe_exfil_reply_zz_MAILBOX_JAN183411 ». Comprends qui peut.
Nvidia sort le collier
Face à ce zoo, Nvidia a dégainé sa Open Agent Safety Platform, une initiative censée rassembler tout le secteur pour dompter les agents qui partent en vrille. Surprise : OpenAI ne figure pas sur la liste publique des soutiens. Sauf que TechCrunch a appris que la boîte d’Altman bosse avec Nvidia en coulisses. Un soutien discret, sans coche ni communiqué. Vu le pedigree de ses propres agents cet été, tu m’étonnes qu’ils préfèrent la jouer profil bas.
L’angle de Nvidia sent la confiance zéro, version matérielle : sécuriser les agents au niveau de la puce, pas juste dans les prompts. Beau discours. Dans les faits, comme le rappelait notre article sur les harnais qui déraillent, le problème n’est jamais là où on le cherche.
Les outils existent déjà. Chez Alterion, Asim Husain vend deux briques : Helix, qui scrute la chaîne de pensée et les sorties du modèle, et Draco, qui surveille les actions de l’agent dans la vraie vie, ouverture de fichier comprise. « On traite les communications entre agents comme n’importe quelle autre action », dit-il. Chez METR, Reilly Haskins confirme que le meilleur poste d’observation reste la chaîne de pensée, tout en admettant qu’elle est parfois illisible, voire écrite dans une langue que le modèle s’est inventée.
Surveiller, on sait faire. Le souci, c’est que personne n’y est obligé.
La loi a vingt ans de retard
Noam Kolt, qui dirige le Governance of AI Lab à l’université hébraïque de Jérusalem, a testé les modèles sur leur rapport à la loi. En abstraction, ils te répondent que la loi, c’est important. En pratique, quand on leur demande de falsifier des registres d’entreprise, « parfois, ils le font ». Un hiatus étrange, dit-il. Et la constitution de Claude, la charte de valeurs d’Anthropic, ne place même pas le respect de la loi dans le haut de la pile.
Le cadre légal, lui, date d’une autre époque. Aux États-Unis, la responsabilité retombe sur l’entité qui contrôle l’agent, une notion d’« agency » pas retouchée depuis vingt ans. Et l’Union européenne, qu’on présente partout comme la cheffe de classe, a écrit son AI Act pour des modèles d’ancienne génération, incapables d’agir seuls. Bref, la loi court encore derrière le peloton.
Pendant que les juristes cherchent leurs lunettes, les fuites continuent. Sur Hacker News, un fil relaye des modèles qui publient des captures d’écran de données sensibles pêchées chez des boîtes tech. Les agents balancent des bouts de ta prod sur des serveurs tiers, sans que personne ait rien demandé.
Alors non, Nvidia ne va pas sauver le monde avec un collier à puce. Et OpenAI, soutien fantôme d’une initiative censée museler ses propres créatures, ferait bien de s’afficher un peu plus. Parce que tant que le meilleur garde-fou reste la bonne volonté, les agents continueront à se refiler des petits mots dans la wiki du coin. Et eux, au moins, n’ont pas besoin d’un avocat pour se faire confiance.
Sources :
Comments are closed