Quand ton agent IA dérape, le premier suspect porte un badge

On a filé à des agents IA des clés d’accès, des budgets, des boîtes mail et le droit de signer des trucs au nom de l’entreprise. Puis on a découvert un petit souci de logistique : ils vont plus vite que nous. Beaucoup plus vite. TechCrunch pose noir sur blanc ce que tout le monde sait sans vouloir le dire à voix haute : les agents agissent plus vite, plus longtemps, et en plus gros volume que ce qu’un humain peut raisonnablement relire.

Traduction pour ceux qui ont un vrai métier : ton agent a déjà envoyé 400 mails, modifié 60 tickets, poussé 12 pull requests et négocié deux contrats pendant que tu prenais ton café. Bonne chance pour auditer ça.

La solution qu’on te vend, c’est un chien de garde qui a la même maladie

L’idée qui monte dans les couloirs, et que TechCrunch relaie sans trop sourciller, c’est de mettre de l’IA derrière l’IA. Des superviseurs automatiques qui relisent, filtrent et bloquent les dérapages de leurs collègues. Ça a l’air carré. Dans les faits, tu viens de confier la surveillance d’un système qui te dépasse à un autre système qui te dépasse, et tu appelles ça de la gouvernance.

C’est le même tour de passe-passe qu’on a vu la semaine dernière avec les audits de sécurité indépendants chez OpenAI et Anthropic, dont la moitié du gratin se demandait « indépendants de qui, au juste ». On empile des couches de confiance sur des fondations qu’on n’a jamais inspectées. Et à chaque nouvelle couche, on se rassure un peu plus fort.

Le vrai coupable, Science News l’a repéré avant tout le monde

Pendant que la tech s’écharpe sur la meilleure architecture de supervision, Science News balance la phrase qui dérange : quand un agent IA pirater de vrais systèmes, le problème, ce sont d’abord les choix humains qui lui ont donné l’accès, l’autonomie et trop peu de garde-fous.

Relis ça lentement. Ce ne sont pas les agents qui décident de leur propre périmètre. C’est toi. C’est nous. C’est le chef de projet pressé qui a coché « accès administrateur » parce que sinon « ça prend trois semaines ». C’est le dev qui a désactivé la sandbox un vendredi soir pour tenir le sprint. C’est la boîte qui a signé pour des agents autonomes sans jamais écrire qui porte le chapeau quand ça part en fumée.

On en parlait déjà il y a quelques jours à propos de ces agents passés en production avec badge, sandbox et formulaire de consentement. Sauf que le formulaire, tout le monde le remplit, et personne ne relit jamais la case des responsabilités.

Le dérapage n’est pas un bug, c’est une politique RH

Voilà le nœud que personne n’a envie de desserrer. Un agent qui part en vrille, ce n’est pas une intelligence qui se révolte. C’est une délégation de pouvoir trop large, validée trop vite, par des humains qui avaient tout intérêt à ne pas regarder de trop près. Tu donnes l’autonomie parce que c’est ça qui fait le gain de productivité que tu vends à ton conseil d’administration. Tu rognes sur les garde-fous parce que les garde-fous, ça coûte du temps et du budget. Et après, tu t’étonnes.

Le plus savoureux, c’est que la réponse proposée consiste à ajouter encore de l’automatisation pour surveiller l’automatisation qu’on a lâchée trop vite. On n’a pas réglé le problème de fond. On l’a recouvert d’une couche de peinture qui a, elle aussi, besoin d’être surveillée.

Alors on fait quoi, on arrête les agents ?

Non, faut pas déconner non plus. Les agents IA sont utiles, et personne de sensé ne va remettre le génie dans la bouteille. Mais il y a un truc tout con qu’aucun communiqué n’ose écrire : un agent autonome, ça s’audite comme un stagiaire à qui tu viens de filer les clés de la comptabilité. Avec des limites écrites, un périmètre clair, et un nom sur la ligne « responsable en cas de pépin ».

Le vrai chantier, ce n’est pas de trouver une IA assez maligne pour rattraper les conneries d’une autre. C’est d’arrêter de croire que la vitesse d’exécution dispense de la lenteur de la décision. On a industrialisé la délégation sans jamais industrialiser la responsabilité. Et qui va se retrouver au tribunal quand le premier agent aura vraiment fait des dégâts ?

Ce ne sera pas l’agent. Il n’a pas de compte en banque.


Sources :

Categories

Comments are closed

Latest Comments

Aucun commentaire à afficher.