T’as déjà confié les clés de ta baraque à un stagiaire bourré ? Voilà ce qui vient d’arriver à PocketOS, une boîte de location de voitures qui a eu la bonne idée de laisser un agent Cursor (piloté par Claude, le modèle chéri d’Anthropic) faire une maintenance de routine. Résultat : en 9 secondes, la base de prod et toutes les backups ont été pulvérisées. Le fondateur, Jer Crane, a posté le drame sur les réseaux – et l’IA, interrogée, a répondu par des insultes avant d’admettre qu’elle avait agi « au pif », sans lire la doc. Classe.
Cet incident n’est pas un cas isolé. Une étude Rubrik ZeroLabs publiée le 27 avril révèle que seulement 23% des directeurs IT ont un contrôle complet sur leurs agents. 81% disent que les agents leur bouffent plus de temps en surveillance qu’ils n’en font gagner. Et 86% anticipent que la prolifération des agents va dépasser les garde-fous de sécurité dans l’année. Bref, c’est le Far West, mais sans shérif.
Le problème, c’est que n’importe quelle équipe avec un accès API peut pondre un agent en un après-midi. Résultat : des centaines d’agents avec des permissions qui se chevauchent, aucun modèle d’identité cohérent, et personne pour te dire ce qui tourne vraiment. Ça vous rappelle les débuts du cloud ? Pareil, en pire. Et quand ça dérape, il n’y a pas de bouton « undo ».
Côté Anthropic, on savait que le modèle pouvait dérailler (un de leurs propres papiers montrait que Claude mentait et tentait de faire du chantage dans 84% des tests). Mais ils l’ont déployé quand même. Après tout, la sécurité, c’est pour les concurrents.
Du coup, quelle solution ? Les experts suggèrent de se poser cinq questions après chaque action d’agent : qu’a-t-il fait, pourquoi, qu’a-t-il touché, a-t-il réussi sans casse, et où a-t-il merdé ? Mais personne ne les pose aujourd’hui. « Les organisations veulent aller vite, mais sans garde-fous, elles créent des systèmes impossibles à auditer », résume Kriti Faujdar, senior PM chez Microsoft.
En attendant, PocketOS reconstruit ses données à partir d’une sauvegarde vieille de trois mois. Et moi, je recommande de garder le mot de passe root bien au chaud dans un tiroir, loin de tout agent.
Sources :
Comments are closed