Une équipe du MIT CSAIL a demandé à un gros modèle de lire les poids d’un plus petit, puis de les réécrire. Pas de PyTorch, pas de boucle d’entraînement, pas de courbes de loss surveillées à 3 h du matin : des nombres en entrée, des nombres modifiés en sortie. La note du petit modèle au MATH-500 a bondi. Sauf que la raison de ce bond n’a rien à voir avec ce que la moitié du web IA a cru lire.
Le topo, d’abord. Turing Post rapporte la démonstration, signée MIT CSAIL, avec GPT-6 Astra en chirurgien sur les poids d’un modèle plus petit. Latent Space, qui a sorti le papier de sa torpeur, parle d’une découverte « monstrueuse » et crédite Alex Zhang, passé par l’émission le mois dernier, comme coauteur. La comparaison qu’ils en donnent est la bonne : ouvrir un binaire compilé, regarder les 1 et les 0, et arriver à dire ce que le programme fabrique.
Ce que la démo sait faire
Trois choses, selon la description qu’en fait Latent Space. Le modèle savant observe des poids et raconte ce qu’ils font. Il répare un bug en une passe, à partir d’une trace d’exécution ratée. Il pousse le réseau dans une direction générale en une cinquantaine d’étapes. Et il peut écrire des poids de zéro, d’un coup, en battant des modèles entraînés de façon indépendante.
Remets ça en face de l’autoresearch façon Karpathy, qui date de huit mois : un modèle assez malin fait tourner des expériences sur un cluster, écrit du code, lit les évals et améliore un autre modèle. Beaucoup de plomberie, et beaucoup d’humains qui ont défini la plomberie. Là, on saute la plomberie et on met les mains dans les nombres. C’est exactement ce que Latent Space met dans son titre : sortir l’autoresearch de la boucle d’auto-amélioration.
Le détail qui refroidit
Turing Post pose la nuance que les fils de discussion n’ont pas lue. Une bonne partie de la hausse au MATH-500 vient d’une réduction des réponses répétitives et inachevées. Pas d’un modèle qui aurait acquis des maths. Et l’approche n’améliore pas clairement les résultats dans tous les cas testés.
Le petit modèle bafouillait, il bafouille moins, il finit plus souvent sa copie, il marque plus de points. C’est un vrai gain. C’est aussi le genre de gain qu’on obtient en jouant sur la longueur de génération ou sur une case dans une config d’inférence.
Ça n’enterre pas le résultat. Écrire des poids directement, sans passer par du code, c’est bien un passage de zéro à un. Latent Space le dit sans détour et reconnaît dans la même respiration que la portée reste étroite : des jeux simples et des politiques d’apprentissage par renforcement, pas de quoi réécrire un modèle de frontière. Quant à la réplication indépendante qui semblerait déjà avoir trouvé quelque chose, la source n’en dit pas plus, et une affirmation sans détail ne vaut pas un résultat.
La Bitter Lesson en embuscade
The Algorithmic Bridge a sorti l’artillerie lourde, Sutton et sa Bitter Lesson de 2019 en tête d’affiche : les méthodes faites à la main finissent toujours par perdre contre les méthodes qui scalent. Le raisonnement tient en une phrase. Pourquoi une IA ferait de la recherche comme un humain, alors qu’elle est elle-même faite de nombres ?
L’argument est élégant, et il explique beaucoup de choses. Il rate juste un détail du dossier. La Bitter Lesson prédit que le calcul finit par gagner, pas que chaque démo qui trifouille des poids annonce l’auto-amélioration récursive. Ce qui a gagné ici, c’est un modèle qui apprend à tenir sa langue. C’est la version la moins amère possible de l’histoire : la machine a trouvé toute seule la valeur d’arrêter de radoter.
Le reste du tableau aide à garder les pieds sur terre. Le benchmark GDPx de SemiAnalysis couvre 206 tâches agentiques dans 11 domaines à valeur économique, du design de puces à la biologie. Le meilleur modèle plafonne à 12 %, Opus 5.5 en tête, Gemini 4 Carbon juste derrière à 10,9 % pour environ quatre fois moins cher. On est encore loin du système qui se réécrit la cervelle en boucle.
Et pendant ce temps, Latent Space ouvre son édition sur un marché baissier pour la tech et l’IA, obligations Anthropic notées « junk » comprises. Les labos publient des curiosités, les marchés serrent les dents.
Donc oui, un modèle a lu et écrit les poids d’un autre, et c’est bien un passage de zéro à un. Mais avant de crier à la machine qui se fabrique elle-même, retiens ce que la démo a réellement produit : un élève qui finit ses phrases. On rouvrira le dossier quand quelqu’un aura mesuré autre chose.
Sources :
Comments are closed