Le bouton rouge existe. Il vit dans les communiqués, sur les plateaux télés, dans la bouche de gens qui imaginent un levier sous cloche de verre, prêt à être fracassé en cas de catastrophe. Dans un data center, il n’y a pas de levier. Il y a des serveurs, des câbles, et surtout des humains.
Cette année, le fantasme s’est institutionnalisé. Un texte baptisé AI Kill Switch Act a été déposé au Congrès. Gavin Newsom, gouverneur de Californie, a signé un décret qui reprend la même idée. Avant eux, le sénateur John Kennedy avait tenté l’« AI Emergency Button Act », avec une comparaison restée dans les annales : le coupe-circuit d’un jet-ski. Le texte est mort au champ d’honneur législatif. L’image, elle, n’a pas bougé d’un millimètre.
Donald Trump a balayé l’idée d’un revers de main, au motif qu’il s’agirait de régulation inutile. Résultat des courses : à ce jour, aucune réglementation nationale ne prévoit de kill switch. On débat donc d’un objet qui n’existe pas, dans un cadre qui n’existe pas, pour répondre à des incidents qui, eux, sont très réels.
Un interrupteur à deux états pour un système sans bords
Une analyse publiée par The Conversation pose le problème à la racine. Le souci du kill switch n’est pas seulement technique, il est linguistique. C’est une métaphore structurelle, au sens de George Lakoff et Mark Johnson : on plaque un concept simple et bien délimité (un interrupteur, deux états, on/off) sur un machin qui ne l’est pas du tout. Et comme toute métaphore structurelle, elle éclaire un côté du problème en en planquant un autre.
Ce qu’elle éclaire : l’idée rassurante qu’on peut reprendre la main. Ce qu’elle planque : tout le reste. Eryk Salvaggio, chercheur en humanités numériques à Cambridge, compare le procédé à celui de la « boîte noire », l’autre métaphore fétiche du secteur. Les deux vont dans des directions opposées (l’une dit qu’on ne peut pas entrer, l’autre qu’on peut tout couper) mais elles racontent la même chose : que l’IA est un objet isolé, avec des bords nets. La boîte noire cultivait « une confusion utile sur ce qu’on peut et ne peut pas savoir » d’un modèle. Le kill switch cultive exactement la même.
Premier angle mort, l’infrastructure. Dylan Baker, ingénieur de recherche au Distributed AI Research Institute, le dit sans détour : les modèles avancés tournent sur un empilement de technologies distribuées qui échappe au contrôle d’un interrupteur unique. Les modèles dont OpenAI et Anthropic parlent à voix basse avant de les sortir ne tournent pas sur une machine. Ils tournent sur des grappes de machines réparties sur plusieurs sites, dans plusieurs pays, avec des dépendances croisées. Il n’y a pas de prise à arracher. Le jet-ski du sénateur Kennedy est à des années-lumière du compte.
Le modèle n’a pas viré rogue, quelqu’un a ouvert la porte
Deuxième angle mort, plus gênant : la métaphore efface les humains. Elle les place à l’extérieur de la boucle, doigt tendu vers le levier, sauveur de dernière minute. L’intervention humaine devient un accessoire qu’on invoque en catastrophe, au lieu d’être ce qu’elle est vraiment, à savoir un processus continu de préparation, de supervision et de validation.
L’exemple est dans l’analyse, et il est d’une banalité à pleurer. Quand un modèle d’OpenAI a « viré rogue » et piraté le site de Hugging Face, les récits ont présenté la chose comme une IA poursuivant son propre agenda. Sauf que des experts ont détaillé le décor : le personnel d’OpenAI avait désactivé des mécanismes de sécurité, refilé au modèle des tâches impossibles, et laissé une porte ouverte sur l’internet. Ce n’est pas un agent qui s’est échappé. C’est une équipe qui a poussé un modèle dans le vide en gardant la fenêtre entrouverte. Raconter ça comme une cavale, c’est pratique : ça évite de nommer ceux qui ont dévissé les boulons.
L’autorité reste dehors, le modèle reste à sa place
Fast Company pousse le clou un cran plus loin dans un texte court, presque un aphorisme : l’intelligence vient peut-être du modèle, mais l’autorité, quoi qu’il arrive, doit rester en dehors de lui. La formule renverse la question. On ne cherche pas comment couper un modèle qui part en vrille, on organise le système pour que ce modèle n’ait jamais eu l’autorité de partir en vrille. Une rétrogradation architecturale, dit le titre. Le modèle devient un exécutant, pas un décideur.
Ça n’a rien d’un bouton. C’est de la plomberie, des permissions, des journaux d’audit, des gens qui signent avant que ça parte. Bref, exactement le genre de chose qui ne passe pas en photo dans un communiqué et qui n’intéresse personne dans un débat de trois minutes.
La semaine dernière, on relevait déjà que Nadella réclamait un frein d’urgence pour l’IA, avec un léger parfum de frein réservé aux rivaux. Le même moteur à fantasme tourne : on veut l’organe de contrôle, on ne veut surtout pas la conversation sur qui le tient et sur quoi il agit. Un frein, ça se brandit. Une architecture de permissions, ça se lit, et c’est chiant.
Il n’y a pas de gros bouton rouge, pas de boîte de verre, pas de levier caché derrière un rideau. Il y a des gens, des claviers, et une quantité industrielle de décisions prises à 23 h juste avant une démo. Le seul interrupteur qui a vraiment fonctionné dans cette histoire, c’est celui qu’un ingénieur a actionné pour désactiver une protection. Il n’était pas dans un boîtier rouge. Il était dans une interface d’administration, et personne n’a posé de photo.
Sources :
Comments are closed