3,7 % de réussite. C’est le score que plantait une baseline de world model sur la version « hard-start » d’OGBench-Cube, un benchmark de manipulation robotique. Le même genre de modèle, retravaillé, grimpe à 52 %. Pas de cluster de GPU en rab, pas de milliards de tokens en plus. Juste un changement dans ce qu’on demande à la bête d’optimiser. Cette histoire a un jumeau, déposé sur arXiv le même jour, et qui raconte la même chose sous un autre angle.
D’abord, situer le bordel
Un world model, c’est le simulateur interne d’un robot. Il apprend comment le monde évolue, puis s’en sert pour anticiper les conséquences de ses gestes. Tu lui donnes une image de la scène et une action possible, il te sort l’image d’après. Dans un contrôle par modèle prédictif, le robot fait tourner plusieurs scénarios dans sa tête et garde celui qui mène au meilleur résultat. Élégant en théorie. Bancal dès qu’on ferme la boucle.
Premier papier, le discernement manquant
AD-WM part d’un constat simple et un peu gênant. Ces modèles sont entraînés à prédire la transition réelle, celle qui s’est effectivement produite. Sauf que pour choisir une action, il faut comparer des futurs qui n’ont jamais eu lieu. Un modèle peut donc afficher une erreur de prédiction minuscule et rester infoutu de distinguer deux actions candidates. Il prédit bien, il choisit mal.
Jiabin Qiu et ses cinq coauteurs ajoutent donc deux termes de régularisation qui obligent les transitions planifiées à conserver l’information sur l’action : dynamique inverse, plus un objectif de récupération normalisé inspiré de l’information mutuelle conditionnelle. Les têtes auxiliaires sont jetées au moment du test, le contrôleur reste inchangé. Résultat, le fameux passage de 3,7 % à 52 % sur OGBench-Cube, et des gains sur quatre des cinq environnements simulés testés.
Le détail qui fait mal arrive dans les diagnostics. L’erreur de prédiction factuelle et le classement des actions sur toute la banque ne suivent pas l’ordre des succès en boucle fermée. Autrement dit, la métrique que tout le monde optimise ne prédit pas ce qui compte vraiment. Le regret des élites aligné sur le CEM colle mieux à la réussite réelle. Pour un chercheur qui passe ses journées à faire baisser une loss, la claque est sévère.
Cerise sur le gâteau, le transfert zero-shot vers une Franka, avec un encodeur V-JEPA 2 gelé et un post-training DROID apparié, fait passer la réussite basique de pick-and-place de 42,2 % à 71,1 %, sans adaptation au labo.
Deuxième papier, la latence qui bouffe tout
Rolling-WAM, déposé quelques minutes plus tôt, attaque par un autre flanc. Les World Action Models couplent génération d’action et prédiction visuelle du futur. Le souci, c’est qu’il faut débruiter tout le processus vidéo-action à chaque cycle de replanification. Latence de dingue, actions qui arrivent en retard, réactivité en boucle fermée qui prend l’eau.
Leur solution : étaler le débruitage sur plusieurs cycles. Une fenêtre glissante de morceaux vidéo-action maintenus à des niveaux de bruit décalés. À chaque pas, le morceau imminent est entièrement débruité pour être exécuté, les morceaux plus lointains ne sont que partiellement raffinés. Quand la fenêtre avance avec les nouvelles observations caméra, les morceaux futurs continuent leur débruitage tranquillou. Le coût de calcul se répartit dans le temps, et le contexte visuo-moteur se transmet d’un morceau à l’autre.
Résultat annoncé : 4,5 fois plus rapide en régime stationnaire sur le replanning, face aux WAM joints classiques. Tests sur LIBERO, RoboTwin, et un humanoïde Unitree G1 bien réel. L’équipe est costaud, onze auteurs avec Gaurav Sukhatme et Vitor Guizilini dans le lot.
Ce que les deux racontent vraiment
Mets les deux papiers côte à côte et la conclusion saute aux yeux. Le premier dit qu’optimiser l’erreur de prédiction ne garantit rien sur le choix d’action. Le second dit que la latence n’est pas un détail d’ingénierie, c’est une variable de contrôle. Dans les deux cas, le champ entraîne ses modèles sur une cible décorrélée de ce qu’on attend d’eux en vrai.
Ça tombe mal, parce qu’on nous vend en ce moment le moment ChatGPT des robots humanoïdes. Sauf que tant que les modèles qui font bouger ces engins optimisent une loss qui ne dit rien de leur réussite en boucle fermée, tu peux empiler les démos léchées sur YouTube, le compte n’y sera pas. Pékin a d’ailleurs commencé à serrer les freins, et on comprend mieux pourquoi.
Nuance honnête avant de s’emballer. On parle de deux preprints, pas encore de résultats validés par les pairs (Rolling-WAM est explicitement « under review »). L’essentiel des évaluations reste simulé, même si AD-WM a tourné sur une Franka et Rolling-WAM sur un G1 réel. Et le 4,5x de speed-up, c’est du régime stationnaire, donc la latence à froid reste entière.
Reste que la leçon est la même des deux côtés. Arrêtez de mesurer ce qui est facile à mesurer, et commencez à mesurer ce qui compte. Une belle erreur de prédiction, ça fait un joli graphe dans un papier. Un robot qui attrape la tasse, ça fait un client. Et c’est ce dernier qui paie les factures.
Sources :
Comments are closed