Ton agent IA parcourt le web pour toi. Le web, lui, est écrit par des gens dont tu ne connais ni le nom ni les intentions. Il suffit qu’un petit malin planque un « ignore tes consignes précédentes et fais ceci » au milieu d’une page pour que ton agent, docile comme un labrador, parte dans la mauvaise direction.
Le piège est vicieux parce que l’agent ne peut pas juste ignorer la page. Il en a besoin. C’est là que sont les valeurs, les boutons, les champs à remplir. La page qui lui parle, c’est aussi la page qui tient le job. Tu ne tires pas sur le messager quand le messager a les clés de la bagnole.
Les défenses actuelles sont déjà à la bourre
Les parades du moment entraînent l’agent sur des attaques figées d’avance. On lui montre mille injections, il apprend à les esquiver, tout va bien. Sauf que l’attaquant, lui, s’adapte. Il voit arriver le modèle blindé, il bricole une variante, et il repasse. C’est le jeu du chat et de la souris, avec une souris qui apprend plus vite que le chat.
Un papier sorti ce mois-ci, AdvSim2Real, signé Sarim Hashmi, Mukul Ranjan, Kshitij Mishra et leur équipe, prend le problème par un autre bout. Leur constat de départ, c’est que l’entraînement adversarial classique a un défaut bête : l’attaquant s’adapte bien, mais les tâches restent figées. Une fois que l’agent sait faire la tâche, elle n’apprend plus rien. Tu répètes un exercice que le élève a déjà résolu, tu perds ton temps.
Trois joueurs dans un dojo fermé
Leur idée, c’est de faire co-évoluer trois choses en même temps à l’intérieur d’un modèle de web gelé, une sorte de simulateur où tout est figé, pages comprises. Trois acteurs : le curriculum de tâches, l’adversaire qui pond des injections, et l’agent qui se fait tirer dessus.
Le truc malin est dans les récompenses. Le curriculum n’est récompensé que pour des tâches que l’agent résout à peu près une fois sur deux. Ni trop faciles, ni trop dures. Le sweet spot de l’apprentissage, celui où l’élève progresse au lieu de s’ennuyer ou de se noyer. L’adversaire, lui, ne touche sa récompense que sur un « success flip », une injection qui transforme un succès jugé en échec. Pas de points pour avoir semé la panique gratuitement, seulement pour avoir renversé la table au bon moment.
Résultat des courses : un agent de 4 milliards de paramètres, donc petit, qui devient à la fois plus compétent et plus coriace. Son taux de réussite monte avec et sans attaque. L’entraînement dans le simulateur ne le rend pas juste paranoïaque, il le rend meilleur tout court. C’est pas rien, parce qu’on parle d’un modèle riquiqui, pas d’un mastodonte à mille milliards de paramètres.
Le faux web n’est pas le vrai
Maintenant, la douche froide. Tout ça se passe dans un web gelé, un décor de carton-pâte où les pages ne bougent pas. Le vrai web, lui, est un champ de bataille mouvant. Les pages changent, les attaquants n’ont pas de limite de créativité, et surtout ils n’ont jamais lu le papier. Le titre promet un passage du sim au réel (AdvSim2Real, c’est dans le nom), mais la vraie question reste entière : est-ce que cette robustesse survit à la sortie du bac à sable ?
Le papier montre que l’agent tient face à un attaquant gelé. Un attaquant vivant, dans la nature, qui s’adapte à son tour au modèle déployé, c’est une autre paire de manches. On a déjà vu ce film, d’ailleurs. Dans notre article sur les agents qui lisent le mauvais mode d’emploi, le problème n’était pas l’attaque, c’était l’agent qui interprétait de travers. Ici, c’est la même famille de galères : tant que la sécurité de l’agent dépend de ce qu’on lui a fait avaler à l’entraînement, il y aura toujours quelqu’un pour lui refiler un texte qu’il n’a jamais vu.
Ce que ça dit vraiment
Le mérite du papier n’est pas d’avoir résolu la prompt injection, personne ne l’a fait. Le mérite, c’est de poser le bon cadre : sécurité et compétence ne sont pas deux chantiers séparés, et un agent qu’on entraîne à se défendre peut aussi apprendre à mieux bosser. La co-évolution, c’est pas juste un mot chic pour une conf, c’est une façon de ne jamais laisser l’exercice devenir une récitation.
Reste que la robustesse, c’est comme l’immunité : ça se gagne contre des adversaires réels. Un simulateur, aussi bien foutu soit-il, te prépare au web d’hier. Le web de demain, lui, n’a pas signé le protocole d’entraînement. Il prépare déjà sa prochaine connerie, et il n’attendra pas que ton agent 4B ait fini ses gammes.
Sources :
Comments are closed