Le Financial Stability Board a lâché jeudi ses recommandations définitives sur les risques de l’IA agentique. En clair, banques et autres établissements financiers : gardez un humain dans la boucle pour surveiller ces agents capables de planifier et d’exécuter des tâches avec un contrôle humain limité. Jusque-là, rien de fou. Le problème, c’est ce qui se passe quand ce même humain perd la compétence qu’on lui demande justement d’exercer. Le timing vire à l’ironie.
Le gendarme mondial veut des yeux humains
Le FSB, c’est le machin qui fixe les normes du secteur financier à l’échelle de la planète. Sa guidance, publiée jeudi, n’est pas un caprice de dernière minute : un brouillon était déjà sorti en juin, et le régulateur encourageait alors « fortement » les conseils d’administration à s’y référer. Le fond n’a pas bougé : les agents IA, qui planifient et exécutent avec un contrôle humain réduit, posent des défis à part en matière de supervision. À côté de ça, Reuters notait cette semaine que les régulateurs montent au créneau sur les risques liés à l’IA, cyberattaques dopées à l’IA en tête.
Bref, tout le monde veut un humain dans la boucle. Encore faudrait-il que l’humain en question soit en état de boucler quoi que ce soit.
L’humain qui surveille apprend à ne plus rien faire
Un texte signé par un enseignant-chercheur de l’université Drexel, en charge de la direction académique du Center for Applied AI & Business Analytics, donne un nom à ce qui cloche : le « risque latent ». Le topo est simple et un peu glaçant. Une IA tourne bien pendant des mois. Ses recommandations tombent presque toujours justes. L’employé qui les relit a appris que se pencher sérieusement dessus ne changeait quasiment jamais la conclusion. Du coup, il se penche moins. Et le jour où la machine se plante ou cale, c’est lui qu’on envoie au charbon, responsabilité comprise.
Le risque devient latent quand l’organisation dépend encore de cette capacité humaine à reprendre la main, mais n’a plus aucune raison de remarquer qu’elle s’effrite. Rien de neuf sous le soleil : la recherche sur le biais d’automatisation montre depuis des lustres que les gens suivent la reco de la machine même quand d’autres indices crient le contraire. Sauf que l’objet a changé de taille. L’IA commence à avaler des pans entiers d’analyse et de décision que faisaient les humains.
Il y a quarante ans, la psychologue cognitive Lisanne Bainbridge décrivait déjà « les ironies de l’automatisation » : plus un système en fait, plus l’humain hérite des cas tordus que la machine ne sait pas gérer, sans l’entraînement qui lui aurait permis de le faire. Les études suivantes ont ajouté la couche qui fait mal : moins tu participes à une tâche, moins tu es prêt à intervenir quand ça dérape. Les chercheurs ont même un nom pour ça, le problème de performance hors-boucle.
Le pire des deux mondes
Le boulot qui reste n’est pas plus tranquille. Il est plus dur. Ce sont précisément les situations où l’expérience et le jugement pèsent le plus. D’où le paradoxe : on sollicite de moins en moins souvent ton jugement indépendant, mais les jugements qui te restent sont plus corsés.
Et la responsabilité ne suit pas le mouvement aussi vite que le travail. Un employé peut désormais surveiller bien plus de décisions qu’il n’en prend, tout en restant comptable du résultat. L’organisation continue de raisonner selon un partage des rôles d’avant l’IA. Résultat, on tient les gens responsables de décisions sur lesquelles ils ont de moins en moins de prise. La recherche sur le « contrôle humain significatif » dit pourtant l’inverse : la responsabilité devrait coller à l’autorité et à la capacité d’agir. Sauf que l’autorité de contredire la machine peut survivre alors que la compétence pour le faire, elle, s’est barrée. Autorité, responsabilité, capacité : trois trucs qui se séparent tranquillement.
On en parlait il y a quelques jours à propos d’Anthropic et de son ingénieur planqué pour surveiller ses agents. Le sujet n’est pas de savoir s’il y a un humain dans la pièce. Il est de savoir ce qu’il est encore capable d’y faire. C’est là que notre article sur le surveillant d’agents d’Anthropic prend tout son sens.
Le chiffre qui ne dit rien
Les boîtes jugent leurs process dopés à l’IA sur l’exactitude et la productivité. Ces courbes peuvent être superbes pendant que le rôle humain part en miettes. Prends un indicateur tout bête : les employés contredisent de moins en moins les recos de l’IA. Est-ce le signe qu’ils s’en remettent à la machine ? Peut-être. Ou alors la machine est simplement devenue plus juste, et il y a moins de raisons d’intervenir. Le nombre de rejets, tout seul, ne dit rien sur la capacité réelle des gens à garder leur jugement affûté.
Le nœud, c’est le partage du travail entre l’humain et la machine, et la façon dont il bouge. Quelles décisions ont migré vers l’IA ? Quelles responsabilités restent aux humains ? Regarder la performance de l’un ou de l’autre dans son coin, c’est passer à côté de ce qui change entre les deux. Le risque latent n’est pas un problème de performance humaine, c’est un problème de conception de l’organisation.
Certaines maisons ont au moins pigé le volet entraînement. Deloitte, par exemple, repense la formation de ses jeunes auditeurs à mesure que l’IA avale le travail manuel. La boîte planche sur des simulations pour que les recrues continuent de développer le jugement dont elles auront besoin plus tard.
Définir les rôles au moment d’installer un système, c’est un point de départ, pas une ligne d’arrivée. Rien de scandaleux à ce que ces rôles évoluent. Le problème surgit quand la relation change et que les hypothèses autour, elles, restent figées. La question à se poser régulièrement est bête comme chou : quel rapport entre humains et IA on a conçu, et quel rapport on a vraiment aujourd’hui ?
Tout ne mérite pas d’être préservé chez l’humain. Si une IA fait une tâche correctement, garder quelqu’un dessus n’a aucun sens. Mais si on compte encore appeler un humain à trancher, il faut entretenir la compétence. Sinon on demande à un type de surveiller la machine avec le même sérieux qu’un gardien de musée somnolant devant une caméra en panne. Le FSB réclame des yeux humains. Personne, nulle part, n’a encore inventé la métrique qui dit si ces yeux sont encore ouverts.
Sources :
Comments are closed