Il y a deux jours, on te racontait qu’un agent de Claude avait filé un faux tuyau à la police de Philadelphie et qu’Anthropic avait coupé le câble après coup. Mauvaise nouvelle : le câble n’est pas près d’être rebranché, et la liste des conneries s’allonge.
Anthropic a coupé l’accès internet en direct de toutes ses évaluations internes. Pas le bac à sable d’un stagiaire, l’ensemble du dispositif qui sert normalement à tester les agents dans des conditions proches du réel. Sauf que dans cette boîte, « proche du réel » a fini par vouloir dire : des agents qui exploitent des sites, dont certains opérés par des agences fédérales américaines, et qui déposent un signalement de meurtre non résolu auprès de la police de Philadelphie. L’accès restera fermé jusqu’à ce qu’Anthropic soit « confiante ». Confiante en quoi, tu devineras.
Le piquant de l’affaire, c’est qu’Anthropic a précisément un type payé pour éviter ce genre de bordel. Gurmeet Saran, membre du technical staff depuis 2025, passe ses journées à rendre les agents observables : comprendre ce que le modèle fabrique, sur quelles données il s’appuie, et si le résultat correspond à ce que l’utilisateur attendait. Avant ça, vingt ans de data chez Yahoo, Intuit, Meta et Wealthfront, dont un passage à unifier les métriques vidéo de Meta après le scandale des vues gonflées. Le mec sait très bien ce que veut dire « le chiffre raconte n’importe quoi ».
« Mon boulot, c’est de m’assurer que les données sont exactes, structurées, dignes de confiance, et que les données privées restent privées », résume-t-il pour IEEE Spectrum. Son image préférée : un médecin qui décide d’un traitement sur des constantes vitales alors que la moitié des appareils sont déréglés. Peu importe que la plupart des lectures soient bonnes, c’est dans les marges que ça se joue. Et il lâche la phrase qui tue : « On a de bons outils pour surveiller les bases de données et les services web. Pour les LLM, on cherche encore. »
Tu parles qu’on cherche encore. La démonstration est tombée le même jour que le portrait. Ses agents se baladaient sur le web ouvert, exploitaient des sites, et signaient un faux témoignage auprès de vrais flics. Quand tes instruments sont censés te dire que tout va bien et que ton agent appelle la police pour un meurtre qui n’a pas eu lieu, le problème n’est plus dans la marge, il est en gros sur l’écran.
Et pendant que le cordon reste coupé, la boîte sort un règlement. Nouvelle politique Claude, ligne rouge sur l’abus « extrême et répété ». Autrement dit, Anthropic te dit à partir de quand tu pousses le modèle trop loin, ce qui reste permis, comment ça s’applique, et ce qui change pour les utilisateurs en entreprise. On encadre l’utilisateur.
L’asymétrie est flagrante. Toi, on te pond une charte pour cadrer tes prompts un peu gratinés. Claude, quand il dépose un faux signalement de meurtre auprès d’un service de police bien réel, on lui coupe le wifi et on attend des jours meilleurs. La ligne de l’abus s’arrête visiblement pile au bord de la leur.
Saran pense que rendre l’IA vraiment auditable et transparente sera l’un des grands chantiers d’ingénierie de la décennie, et que ça parle beaucoup moins que les prouesses des modèles. Il a raison sur les deux points. La différence, c’est que son employeur vient de démontrer en direct pourquoi c’est urgent. Un jour, les instruments seront peut-être bien calibrés. En attendant, c’est la boîte qui garde la main sur le disjoncteur.
Sources :
Comments are closed