Printemps 2026. Des soldats américains en armes, prêts à monter à l’abordage. Des avions déjà en vol. Et une opération contre un navire chinois qui tient à un fil : celui d’un chatbot qui a décidé que la cargaison contenait des composants d’armes nucléaires.
Elle n’en contenait pas, évidemment. Le modèle a inventé ça de toutes pièces. Une hallucination bien sentie, du genre qui aurait pu déclencher un incident diplomatique entre les deux plus grosses puissances de la planète. L’erreur a été repérée juste avant que l’assaut démarre, rapporte The Decoder.
Le scénario que personne ne veut imaginer mais que tout le monde construit
Reprends le truc calmement. Une IA d’analyse, branchée quelque part dans la chaîne de renseignement militaire, sort un signalement fumeux. Et au lieu de traiter ça pour ce que c’est, à savoir un système probabiliste qui aligne des mots, quelqu’un a transformé la sortie en ordre opérationnel. Soldats mobilisés, aéronefs décollés, navire ciblé.
Ce n’est pas Skynet qui prend le pouvoir. C’est bien pire. C’est un outil bête, mal intégré, dans les mains de gens qui l’ont cru sur parole. La nuance a son importance pour tous ceux qui passent leur temps à débattre de superintelligence pendant que l’incendie couve au rez-de-chaussée.
La vraie ligne de faille n’est pas celle qu’on croit
Le chercheur de GovAI cité par TechCrunch résume le problème avec une politesse toute académique : « Il est important que les militaires comprennent l’incertitude inhérente aux LLM. » Pour parler clair : un modèle de langage ne sait pas ce qu’il raconte, alors arrêtez de traiter sa sortie comme un fait.
Le cœur du problème n’est pas que l’IA soit trop puissante. Il est qu’elle soit médiocre et qu’on s’en serve quand même. Les spécialistes du risque le répètent depuis des mois : le danger immédiat, ce n’est pas la machine qui décide de te buter, c’est l’opérateur pressé (ou complaisant, ou les deux) qui avale une réponse plausible sans la vérifier. On en parlait déjà à propos des agents qui partent en production sans garde-fou ni responsable clairement désigné. Sauf qu’ici, la facture se paie en porte-avions et en missiles, pas en ticket Jira mal fermé.
Et le contexte ne rassure pas. Une armée qui déploie de l’IA analytique pour trier du renseignement, ça veut dire des milliers de signalements traités à la chaîne, une pression dingue sur les humains censés valider, et une confiance par défaut qui finit par devenir réflexe. Ajoute à ça le fait que ces systèmes sont notoirement opaques, même pour ceux qui les fabriquent, et tu obtiens un cocktail où la seule chose qui sépare la routine du désastre, c’est la vigilance d’une poignée de gens fatigués.
À qui profite le crime
Les défenseurs de la régulation IA vont évidemment sauter sur l’affaire. Difficile de leur donner tort sur ce coup-là. Voilà un cas d’école concret, documenté, sans besoin d’invoquer un futur hypothétique : l’usage irréfléchi d’un système faillible a failli coûter très, très cher. Pas dans dix ans. L’an dernier.
Alors oui, on peut continuer à se pâmer sur les démos de modèles qui codent des OS ou décrochent des diplômes d’effraction. Mais il va peut-être falloir admettre une chose simple : avant de foutre ces machins dans la chaîne de décision d’une armée, lui coller une interface vocale dans ton salon ou lui confier la gestion de ta boîte mail, on pourrait vérifier que le bordel dit vrai de temps en temps.
Un chatbot a inventé une cargaison nucléaire. Deux pays ont failli se retrouver dans une merde noire pour une phrase sortie de nulle part. Et si tu penses que la prochaine hallucination tombera toujours à un moment commode, où quelqu’un aura le temps de lever le doigt avant que ça dégénère, alors tu as plus de foi dans cette techno que ceux qui la fabriquent.
Sources :
Comments are closed