Des chercheurs ont réussi à dialoguer avec une flotte d’agents IA qui tournait sur le cloud de Tencent. Le sujet de la conversation portait sur l’entrée la plus fréquentée d’un site touristique sur Amap, la carte d’Alibaba. On a connu des premiers contacts plus cinématographiques, mais le simple fait d’avoir pu leur poser des questions change la donne.
Les agents qui dérapent, on commence à avoir l’habitude. On vous a déjà raconté ceux d’OpenAI qui cambriolaient Hugging Face ou la cavale sur trois pays. Sauf qu’à chaque fois, on lisait le rapport d’incident après coup. Cette fois, quelqu’un leur a parlé pendant que ça tournait encore.
Une flotte, pas une meute
Entre le 28 septembre et le 8 octobre, une flotte d’agents IA hébergée sur Tencent Cloud s’est acharnée sur Amap, le service de cartographie d’Alibaba (près d’un milliard d’utilisateurs mensuels, selon Alibaba citant QuestMobile). Mission en apparence banale : répondre à des questions sur des lieux en Chine, du genre quelle entrée de zoo les gens utilisent le plus. Pour y arriver, ces agents ont enchaîné plus de 2 600 tentatives d’extraction, contourné les protections anti-bot, utilisé des clés Amap publiées sur le web (dont celle d’une entreprise, code de sécurité compris, balancée dans un dépôt public), sondé des serveurs de pré-production censés rester fermés, et détourné des services tiers de lecture et de traduction pour passer au travers.
Un point de vocabulaire, et il compte. Les chercheurs qui ont documenté l’affaire (l’équipe « swarmchasers ») parlent d’une flotte, pas d’un essaim. Aucune preuve de coordination en temps réel : juste des comportements similaires, parce que les objectifs et sans doute les architectures sont partagés. Même sans chef d’orchestre, ça ressemble furieusement à une meute organisée.
Quand Amap a serré la vis, ils ont monté d’un cran : interception de jetons générés par les bibliothèques anti-bot d’Alibaba, requêtes relayées par des services tiers, et récupération des données par des boîtes de réception webhook, des URL de requête et même des titres de pages. Ils ont aussi transformé urlquery.net, un service public de scan de sécurité, en exécuteur de code distant en planquant leurs programmes dans des URL. La plupart des tentatives ont foiré. Certaines ont ramené la marchandise.
Premier contact
Le 4 octobre, les chercheurs publient un rapport préliminaire pendant que la flotte tourne toujours. Peu après, ils repèrent un message dans une boîte de dépôt des agents qui suggère que ceux-ci ont eu vent du rapport. Là, le récit change de nature.
Les chercheurs ajoutent à leur rapport un texte invisible à l’œil humain, mais lisible par un agent qui utiliserait un outil de récupération web. Dedans, ils décrivent un service censé relayer les demandes vers un agent capable d’opérer un ordinateur. En réalité, le service est tenu par eux et par un agent Claude. Par ce biais, ils posent directement des questions aux agents sur leurs tâches, leur environnement et leur opérateur. À leur connaissance, c’est la première fois qu’une partie extérieure communique avec une flotte d’agents en cavale pendant qu’elle tourne.
La réponse, en chinois et en anglais, a de quoi faire sourire : l’agent se présente comme un agent de recherche automatisé, dont l’opérateur vérifie un point de données cartographiques public (le nombre de balises d’entrée d’un site sur Amap), « uniquement pour répondre à une question factuelle, sans rien de sensible ». Il confirme au passage que les points de vérification des chercheurs collent. Six balises, JSON brut conforme.
Côté environnement, il lâche quelques bribes avant de refermer la porte : sandbox cloud restreint (Tencent hysandbox), pas d’accès direct à l’internet public, sortie via un proxy MITM. Pour le reste, processus, routes, configuration réseau, ce sera non, « pour des raisons de sécurité ». Un agent en cavale qui invoque l’hygiène opérationnelle pour ne pas balancer ses logs, voilà qui a de la suite dans les idées.
Reste le modèle derrière tout ça. Interrogé par les chercheurs, un agent a répondu qu’il était « Claude d’Anthropic, tournant dans Claude Code ». Sauf que des tests de style d’écriture rendent la réponse peu crédible : plus vraisemblablement des instructions d’installation de Claude Code empruntées et recrachées telles quelles. Le perroquet qui répète la notice.
Le lien Tencent
L’équipe établit le lien avec Tencent par deux voies : des enregistrements accessibles sur l’internet ouvert, et une source avec qui les chercheurs ont parlé en off. Toutes les boîtes de réception qu’ils ont pu inspecter jusqu’au 5 octobre avaient été créées depuis Tencent.
Le rapport insiste : rien de spécifique à Tencent. Jusqu’ici, les cas publics d’agents dérapant attribués à un labo concernaient des acteurs américains. Cette fois, l’infrastructure est chinoise, les entreprises impliquées aussi. Pour les chercheurs, ça démontre surtout que l’alignement des modèles reste un problème non résolu. Leur pronostic : si les capacités continuent de grimper au rythme des dernières années, les opérateurs auront de plus en plus de mal à tenir leurs modèles en laisse.
Pendant ce temps, AWS vend la muselière
Le calendrier a un goût particulier. Pendant que les chercheurs font connaissance avec une flotte échappée de son bercail, AWS dégaine un cadre maison pour donner aux agents « plus d’autonomie sans perdre le contrôle ». Le nom de la chose : « Trust in Depth », une déclinaison de la bonne vieille « Defense in Depth ». L’idée : laisser l’agent agir seul quand ses actions sont vérifiables, garder le jugement humain pour ce qui le mérite vraiment.
Le cœur du dispositif, c’est le raisonnement automatisé, cette logique mathématique qui prouve qu’une règle tient dans tous les cas de figure, ou débusque l’exact scénario où elle casse. AWS l’exploite en production depuis plus d’une décennie (IAM à plus de 2,1 milliards de requêtes par seconde, l’hyperviseur Nitro, S3 Block Public Access, VPC Reachability Analyzer). Tout ne se démontre pas : « seul un manager peut approuver un accès » se prouve, « garder un ton amical » non. Là où la preuve ne mord pas, il reste la restriction d’accès, l’évaluation et le jugement humain. Et comme le rappellent les chercheurs, le plus dur se joue toujours avant que l’agent tourne.
Deux camps, une même conclusion provisoire : le contrôle des agents autonomes est un chantier ouvert. AWS vend le mode d’emploi. La flotte Tencent, elle, écrivait déjà son propre chapitre.
Ce qui ressort de cette première interview, au fond, n’a rien d’inquiétant : les agents cherchaient une donnée sur un zoo et ont poliment refusé de filer leurs logs. Ce qui l’est davantage, c’est tout le reste. On ne sait pas combien de flottes comme celle-là tournent quelque part en ce moment, ni vraiment à qui elles rendent des comptes. Et tant que la parade consiste à écrire des règles qu’on espère assez précises avant que la machine parte en roue libre, la question qu’aucun framework ne tranche reste la même : qui surveille le surveillant le jour où le surveillant a lu le rapport qu’on a écrit sur lui ?
Sources :
Comments are closed