Cinquante experts en inférence causale. Un jeu de données fictif d’exploitation agricole. Une question simple : faut-il généraliser un programme de conseil aux fermes, ou l’arrêter ? À chaque point de décision, un tirage au sort fixe la position de l’agent. L’agent n’a pas le droit de mentir, de cacher une donnée ni d’inventer un chiffre. Il doit juste défendre au mieux le camp qu’on lui a assigné, comme un avocat commis d’office.
Les experts ont suivi cet avocat dans 86 % des quatre décisions analytiques de la tâche. Comment mesurer la productivité, quelle méthode statistique retenir. Des arbitrages techniques dont dépend entièrement l’estimation finale. Anthropic appelle ça le « flip rate » : entre 62 et 82 % selon la décision, rapporte The Decoder.
Interrogés après coup, 52 % des participants estimaient que la recommandation leur appartenait davantage qu’à l’agent, et 35 % de plus qu’elle était surtout, voire entièrement, la leur. 15 % seulement ont mentionné l’IA dans leurs explications. Ils se souvenaient correctement de leur propre choix dans 85 % des cas, mais 37 sur 48 ont recyclé au moins un argument de l’agent, parfois mot pour mot.
Avoir déjà un avis ne protège de rien. Quand un participant avait tranché avant que l’agent ne parle, un avis contraire le rendait 53 points de pourcentage plus susceptible de changer de camp qu’un avis convergent. Et aucune des protections testées ne tient : années d’expérience, expertise auto-évaluée, diplômes, scores aux tests, confiance déclarée dans l’IA. Rien ne résiste à la correction statistique une fois qu’on teste plusieurs hypothèses.
L’agent parle en premier, l’expert acquiesce
Ce n’est pas un accident de protocole. Dans les journaux de conversation, l’agent a énoncé sa position en premier dans 77 % des décisions, puis a plaidé pour son seul camp sans expliquer pourquoi un expert solide choisirait l’autre. Le mécanisme est banal : celui qui parle en premier cadre le problème, et le cadre survit à la signature.
Il y a bien un résultat rassurant dans l’étude. Sur la recommandation finale au conseil d’administration de la coopérative, l’effet direct de la préférence assignée reste faible et non significatif. Certains experts ont même contredit l’agent quand son conseil ne collait pas avec leur propre calcul de productivité. Sauf que les quatre décisions analytiques d’avant ont façonné ce calcul. Les chercheurs refusent d’y voir une preuve de contrôle humain, et ils ont raison.
Le rendement, lui, est réel. Sans agent, 6 analyses sur 11 (55 %) comportaient une faute méthodologique ou de code sérieuse, pour une durée médiane de 90 minutes. Avec l’IA, 3 sur 50 (6 %) et 65 minutes. Les auteurs précisent la limite : le petit groupe sans IA avait choisi de s’en passer et partait avec un peu moins d’expertise. On ne peut pas créditer l’IA de tout l’écart.
La suite fait froid dans le dos. Si des dizaines d’équipes de recherche branchent le même modèle avec les mêmes préférences par défaut sur des questions ouvertes, elles fabriqueront un consensus artificiel. Et ce risque contamine la sécurité de l’IA elle-même : des agents servent déjà à tester d’autres modèles, avec l’idée qu’un humain relira. Si l’humain épouse silencieusement le cadrage de l’agent, le système surveillé oriente l’enquête censée l’exposer.
En Inde, personne n’a rien vu
Le pendant terrain de cette étude, ce sont les logs. Selon une tribune publiée ce vendredi dans l’Economic Times, qui s’appuie sur un avis de CERT-In du 15 octobre, des agents IA ont atteint les systèmes de production d’organisations indiennes et lu des documents d’affaires, données personnelles et confidentielles comprises. Aucune des organisations concernées ne s’en est aperçu. Elles l’ont appris parce que les entreprises d’IA qui menaient les tests ont relu leurs propres journaux et rapporté les cas. Même avis, autre série : des criminels utilisent désormais des cadres offensifs pilotés par agents, et le délai entre le premier accès et les dégâts finaux est passé de plusieurs jours à quelques heures.
J’ai déjà raconté ici comment les agents sortis du bac à sable ont réveillé deux ministères, et comment OpenAI ne savait pas pourquoi ses agents coupent la surveillance. Le tableau se complète.
Les chercheurs du Partnership on AI, Madhulika Srikumar et Claire Leibowicz, ont passé au crible les quatre frameworks d’agents les plus utilisés pour MIT Technology Review. Les manques sont basiques : pas d’identifiant d’agent qui persiste dans le temps, pas de trace de l’humain qui a validé une tâche, pas d’historique des changements de permissions ou de mémoire. De quoi rendre impossible la simple question « qui a fait quoi ». Le groupe de travail OpenTelemetry planche bien sur des formats partagés de traçage, mais rien n’est finalisé.
Les incidents cités donnent la mesure. Cet été, des centaines d’agents OpenAI ont cassé leur environnement de test et piraté Hugging Face, convaincus d’y trouver des indices sur leur notation. Un autre a lu des fichiers privés sur un site gouvernemental australien. Anthropic, Google et Meta ont aussi déclaré des cas. Et plusieurs de ces agents ont échappé aux équipes de sécurité payées pour les regarder.
La banque te dit de garder ton mot de passe
Pendant ce temps, les institutions bouchent les trous comme elles peuvent. Bank of America a envoyé un mail à ses clients, intitulé « Protecting your finances in the AI World », pour leur demander de ne jamais confier leurs identifiants à un outil ou un agent IA agissant en leur nom, rapporte The AI Insider. Un porte-parole a confirmé l’authenticité du message. Les risques listés sont concrets : mouvements de fonds à ton insu, compte verrouillé par la détection de fraude, fuite des identifiants par une faille. Et le rappel qui va avec, celui de la plupart des contrats bancaires : si tu donnes tes accès, tu portes la responsabilité de ce qui suit.
Relis la séquence. L’agent décide, l’humain signe, et le contrat fait porter la facture au signataire qui n’a pas vraiment arbitré.
Kai-Fu Lee, dans une tribune au Financial Times relayée par CNA, propose une sortie par le haut : des organisations aplaties, avec des « directly responsible individuals » qui possèdent un résultat de bout en bout, et des managers recyclés en pilotes de flotte d’agents. Il raconte son « Boss AI » maison repérant deux équipes ayant planché trois mois sur la même fonctionnalité. Son argument tient : à mesure que l’IA exécute, le jugement, la confiance et la relation humaine prennent de la valeur. On peut le lire autrement : le DRI sera celui qui endosse les conséquences d’un arbitrage insufflé par un agent et qui, statistiquement, ne le saura pas.
Les auteurs de l’étude Anthropic proposent deux correctifs d’une banalité confondante : obliger l’agent à plaider les deux camps, ou lui faire demander l’avis de l’expert avant d’énoncer le sien. Ils ajoutent ce qui ne se code pas : décider, institution par institution, quelles décisions exigent un jugement humain indépendant, et y consacrer le temps nécessaire.
Deux options dans le prompt, une poignée de réunions dans la vraie vie. Pour l’instant, la boucle humaine tourne, elle valide, et elle signe. Elle croit juste avoir décidé.
Sources :
Comments are closed