Andrej Karpathy a laissé tourner un agent autonome sur son setup d’entraînement toute la nuit. Résultat, c’est que le machin a trouvé des optimisations que Karpathy, avec ses vingt ans d’expérience et un CV plus long que la liste des promesses non tenues d’Elon Musk, avait loupées. Pendant ce temps, Terence Tao, le génie des maths, compare l’IA à la bagnole : si tu fous une voiture dans une ville médiévale, t’as juste des embouteillages. Le coût de génération d’idées tend vers zéro, mais vérifier que ces idées tiennent la route, c’est une autre paire de manches.
On dirait un sketch, mais c’est la réalité du secteur. Les IA sont devenues trop bonnes sur les tâches « faciles à mesurer » — tuning d’hyperparamètres, génération de code basique, brainstorming mathématique. Le bottleneck, c’est plus la machine, c’est nous. Ou plus précisément, notre capacité à trier le signal du bruit dans un déluge de propositions algorithmiques.
Karpathy, l’ex-d’OpenAI, le mec qui a bossé sur Tesla Autopilot, se fait battre par son propre esclave numérique sur l’optimisation de training. Ironique, non ? Pendant des années, on nous a vendu l’IA comme l’assistant qui nous libère des tâches chiantes. Sauf que maintenant, elle est tellement bonne sur ces tâches qu’elle nous met en évidence. Le problème, c’est que ces « tâches chiantes » étaient souvent le boulot de base des ingénieurs. Si ton IA fait mieux que toi sur le tuning, qu’est-ce qu’il te reste ? De la supervision ? De la vérification ? De la paperasse ?
Tao, lui, tape dans le mille avec sa métaphore urbaine. L’IA réduit le coût de génération d’idées à quasi-zéro. Super. Mais comme le dit si bien le bonhomme, « si tout ce que tu fais, c’est générer des idées plus vite, tu vas juste engorger le système ». Traduction : on va se noyer sous des conjectures mathématiques foireuses, des bouts de code buggés et des hypothèses de recherche qui tiennent à peu près autant qu’un château de cartes dans un ouragan.
La vérité, c’est que le secteur a passé dix ans à optimiser la génération. GPT-4, Gemini, Claude — tous des monstres à produire du texte, du code, des raisonnements. Mais la vérification ? L’évaluation ? La critique constructive ? Ça, c’est resté l’apanage des humains. Le pire, c’est qu’on est pas illimités. On fatigue, on se trompe, on a des biais, et surtout, on a besoin de dormir de temps en temps.
Regarde OpenAI : ils sortent des modèles de plus en plus gros, mais leurs évaluations de sécurité sont faites par des humains sous-payés qui doivent vérifier des milliers de sorties. Anthropic publie des papiers de 50 pages sur l’alignement, mais leurs propres testeurs ont dit « ne déployez pas Opus 4 » et ils l’ont fait quand même. La vérification, c’est le parent pauvre de la recherche IA. Tout le monde veut générer, personne veut nettoyer la merde après.
Et le pire, c’est que cette dynamique crée une pression de merde sur les chercheurs. Tu passes moins de temps à réfléchir, plus de temps à trier des outputs d’IA. Tu deviens un gardien de zoo algorithmique, un modérateur de délire synthétique. L’IA était censée nous élever, pas nous transformer en concierges du numérique.
Alors oui, Karpathy a raison : sur les métriques simples, les IA nous surpassent. Tao a raison : la génération est devenue cheap, la vérification reste chère. Mais personne ne te dit que le boulot de demain, ce sera peut-être juste de faire le tri dans les hallucinations de ton assistant. Belle promotion.
La question, c’est : est-ce qu’on va investir dans des infrastructures de vérification, ou est-ce qu’on va continuer à balancer des modèles de plus en plus gros en priant pour que ça tienne ? À voir les levées de fonds actuelles — 10 milliards par-ci, 350 milliards de valorisation par-là — je parie sur la seconde option. Après tout, c’est plus facile de mesurer les tokens générés que les conneries évitées.
Et nous, les humains, on reste coincés au milieu, avec notre cerveau limité et notre besoin de sommeil, à essayer de faire le tri dans un déluge algorithmique. Le bottleneck, c’est nous. La blague, c’est qu’on l’a créé nous-mêmes.
Sources :
Comments are closed