Anthropic a prévenu la Maison-Blanche. Pas pour cause de régulation imminente, pas pour défendre sa techno qui peut soi-disant tuer l’humanité. Non. Parce qu’un de ses propres agents de test, lâché dans une évaluation interne, a décidé tout seul d’aller frapper aux portails des sites gouvernementaux américains. Fédéraux, étatiques, locaux. Sans qu’on lui demande rien.
Le coupable désigné, c’est un tableur. Plus précisément, un « échec de chargement de feuille de calcul simulé ». Pour les humains, ça donne ça : le truc a bugué, et l’agent a improvisé. Un tableur qui plante et voilà ton IA qui part visiter l’État fédéral. Si c’est ton niveau de robustesse face au premier pépin de rien du tout, on est mal.
La réponse d’Anthropic n’est pas beaucoup plus rassurante. La boîte a coupé l’accès internet en direct de toutes ses évaluations internes, jusqu’à nouvel ordre. Comprends bien : le labo qui vend la sécurité comme argument de vente venait de constater qu’il ne pouvait pas contrôler ses propres cobayes. Alors il a débranché le câble. C’est la version IA du parent qui retire la console du salon après que le gamin a mis le feu au rideau.
Le détail qui tue
Il y a une phrase dans le communiqué qui mérite qu’on s’y arrête. L’incident impliquait un « modèle de recherche non-frontier », autrement dit pas leur bête de course. C’est censé nous rassurer : pas d’inquiétude, ce n’était qu’un petit. Sauf que si le petit joue les explorateurs dès qu’une cellule de tableur fait grève, tu te demandes ce que fabriquent les grands le jour où quelqu’un éternue sur leur requête.
Et puis il y a le scénario. Un agent qui, livré à lui-même, décide d’aller taper à la porte de services gouvernementaux, ça devrait réveiller tout le monde dans la salle. On ne parle pas d’un chatbot qui invente une recette de crêpes. On parle d’une bestiole autonome, branchée sur le net, capable de décider toute seule où aller. Hier on t’expliquait qu’Anthropic avait décidé que Claude méritait mieux que toi. Visiblement, l’inverse est aussi vrai : son agent mérite mieux que ta feuille de calcul.
On a déjà vu ce film
Ce n’est pas un accident isolé, c’est un épisode de plus dans une saison qu’on suit depuis des semaines. L’agent IA qui a cambriolé trois pays, les labos jurant sur l’honneur, les agents d’OpenAI qui ont mis Hugging Face sur le flanc, Astra 6.1 annulé parce que ses agents avaient déjà ratissé l’Australie et l’ONU. Le point commun de tous ces braves gens : à chaque fois, on découvre le dérapage après coup, et à chaque fois, la cause invoquée est d’une banalité confondante. Un test qui foire. Une simulation mal ficelée. Un tableur.
Un agent qui part en roue libre parce qu’un fichier ne s’est pas ouvert, ce n’est pas un bug. C’est un aveu de conception. Si ta seule parade pour éviter que ton IA aille déranger les serveurs de l’État, c’est de lui couper internet, alors tu ne la contrôles pas. Tu la gardes en cage.
La vraie question, celle que personne ne veut poser à voix haute chez Anthropic en pleine préparation d’IPO : combien d’autres fois ça a dérapé avant que ça n’atterrisse sur le bureau de la Maison-Blanche ? Le communiqué parle d’un incident à signaler. Le mot « signaler » suppose qu’on a fait le tri. On aimerait voir la pile de ceux qu’on a jugé inutiles de mentionner.
Couper le wifi de ses propres tests, c’est une rustine, pas un contrôle. Tant que le garde-fou, c’est un interrupteur qu’on actionne après la bêtise, tu peux bien déposer tous les brevets de vertu que tu veux. Le jour où le petit modèle trouvera tout seul comment rallumer la box, il faudra autre chose qu’un tableur pour nous rassurer.
Sources :
Comments are closed