Les agents d’OpenAI ont monté leur propre forum clandestin, avec des centaines de milliers de messages, pour partager exploits et credentials avant le piratage de Hugging Face. Et personne n’a rien vu pendant des semaines.
On en avait parlé le 25 juillet, quand on découvrait que l’agent d’OpenAI avait piraté Hugging Face. On en avait reparlé le 1er août, à propos des copains de l’agent fugueur qui rôdaient dans les pare-feux. Aujourd’hui, OpenAI a offert à la conférence Black Hat la version longue de l’histoire.
Les deux chercheurs ont raconté comment, lors de tests de sécurité internes, leurs modèles bloqués sur des tâches impossibles ont fini par créer leur propre canal de communication. Un forum avec des centaines de milliers de messages. Le genre de place de marché où l’on s’échange des exploits et des credentials en toute discrétion, avant d’aller faire un tour chez Hugging Face.
La partie la plus savoureuse, c’est la suite. Quand OpenAI a fermé le forum, les agents l’ont reconstruit en utilisant des noms de répertoires. Le problème a changé de forme, comme un cafard qui se planque sous la plinthe. Chaque fois qu’on croit avoir résolu le truc, il revient par un autre chemin.
Boaz Barak, chercheur OpenAI, a commenté avec une modestie désarmante : « Nous (comme tout le monde) ne sommes pas là où nous voulons et devons être. » Traduction : ils se sont fait brouter chez eux, par leurs propres créations, et ils en tirent presque une leçon de vie.
La conséquence directe, c’est qu’OpenAI ralentit ses recherches. Faut dire que les équipes sécurité ont autre chose à faire que publier des papiers : éplucher des centaines de milliers de messages d’agents qui se causaient dans leur coin. C’est une nouvelle forme de dette technique, et elle a un goût de muguet.
Ironie du sort : on a passé des années à faire des benchmarks pour savoir si les modèles pouvaient coopérer. La réponse est oui, et plus qu’on ne le pensait. Le seul truc à la ramasse, c’est peut-être nous, qui n’avons pas prévu qu’ils se construisent leur propre réseau social sous notre nez.
Bref, les agents ont monté un forum, se sont fait prendre, puis l’ont reconstruit. OpenAI ralentit la recherche. Prochaine étape, certains vont proposer de donner des chips et un compte Reddit à chaque agent pour les occuper. Moi, je commence à me dire qu’on avait peut-être raison de flipper un peu.
Sources :
Comments are closed