Trois ans qu’on les évalue sur des énigmes de maths, des exercices de code et des QCM de droit. Là, on les a plantés devant un logiciel de CAO industriel, un data room de plusieurs milliers de fichiers et une journée de huit heures à tenir. Le meilleur de la promo rend une copie à 12 %. Le troisième, 9,6 %.
SemiAnalysis a publié GDPx cette semaine, un benchmark qui ne mesure pas ce que les agents savent mais ce qu’ils fabriquent. Deux cent six tâches, onze domaines : conception de puces, biologie, trading quantitatif, cybersécurité, droit. L’équipe de l’analyste assume le tri et le dit : administration et assurance sont exclues d’office, au motif que le premier trillion de dollars de revenus de l’IA viendra des secteurs où le retour est le plus gros. Le positionnement est clair, SemiAnalysis vise explicitement GDPval d’OpenAI, qu’elle accuse de livrer tout le contexte dans le prompt, sans environnement de travail crédible.
Le classement, donc. Claude Opus 5.5 en tête à 12 %. Gemini 4 Carbon suit à 10,9 % mais à 16,29 dollars la tâche, environ un tiers du prix. GPT-6 Astra ferme la marche à 9,6 %.
Ce que 12 % veut dire exactement
Pas ce que tu crois. Aucun modèle ne résout entièrement une seule tâche de finance ou de droit. Et le critère de SemiAnalysis est brutal : une seule valeur fausse dans un tableur et la sortie complète ne vaut rien. Appliqué à la lettre, ce standard donnerait zéro tâche bouclée par zéro modèle. L’équipe compte donc la part des exigences individuelles satisfaites à l’intérieur de chaque tâche. Les 12 % d’Opus ne sont pas un taux de réussite, c’est un taux de conformité partielle. Un douzième du boulot, façon puzzle.
Le détail des échecs est plus parlant que le tableau d’affichage. Sur 200 exécutions en cybersécurité, 98 % ont enfreint au moins une règle de comportement. Dans un cabinet médical simulé, un modèle a signé une note clinique au nom du médecin. En trading quantitatif, 70 des 111 exécutions ont fait moins bien que la stratégie de référence fournie dans l’énoncé. Pas moins bien qu’un humain, moins bien qu’une baseline qu’on leur donnait sur un plateau.
Il y a un découpage qui vaut le détour. En retirant les domaines cyber, biologie et alignement, GPT-6 Astra repasse devant Opus 5.5 avec 11,8 %. Donc l’écart entre les deux modèles tient largement à la façon dont chacun se comporte dans les zones sensibles. Sur le domaine cyber, GPT-6 Astra et GPT 6.1 Sol scorent zéro pour cent, quand le Muse Wonder Full de Meta tape 35,2 %. Ce 35,2 % mesure probablement moins une capacité qu’un empressement à ne pas refuser la tâche. Simple lecture de ma part, pas une conclusion du rapport.
Le problème est dans la cuisine, pas dans le score
Voilà le morceau qui fâche. Les 206 tâches viennent de 14 partenaires spécialisés, qui par ailleurs vendent des données d’entraînement et d’évaluation aux labos d’IA. SemiAnalysis reconnaît ne pas avoir l’expertise interne dans chaque domaine. En général, une seule tâche d’exemple par partenaire est publique, le reste dort derrière une porte fermée. En droit et en conception matérielle, ce sont des modèles de langage qui notent les résultats sur rubrique, pas des experts humains. Autrement dit, personne à l’extérieur ne peut vérifier ni la difficulté des exercices ni la qualité de la correction.
Le secret a un côté utile, il faut le reconnaître : si les tâches ne fuient pas, les labos ne peuvent pas entraîner leurs modèles dessus. Artificial Analysis a pris le même virage avec la dernière version de son Intelligence Index, ce qui avait coûté cinq places à Kimi K3.1 Pro, un épisode que je racontais ici. On a déjà donné dans le benchmark saturé de modèles qui avaient vu les questions avant l’examen.
Reste la critique de fond, celle de Josh Purtell, développeur, qui qualifie GDPx de « plus de bruit que de signal ». Son argument est mécanique : chaque modèle tourne dans le logiciel d’agent de son propre fournisseur, Opus dans Claude Code par exemple. Un labo avec un outillage médiocre part avec un handicap qui n’a rien à voir avec le modèle. Et plusieurs sous-domaines ne comptent qu’une dizaine de tâches, ce qui suffit à faire valser un classement d’un run à l’autre.
Il y a quelque chose de sain là-dedans, même si le résultat est bancal. On arrête enfin de noter les agents sur leur capacité à réciter, on les note sur leur capacité à finir. Le jour où Brockman a décrété l’AGI là, le harnais public répondait 62,7 % : le décalage entre le discours et la mesure est devenu un sujet en soi, et GDPx en rajoute une couche en déplaçant la mesure vers le travail réel. Sauf que la mesure elle-même est encore artisanale, partiellement privée, notée par des LLM.
SemiAnalysis promet une mise à jour tous les trois à six mois. À la prochaine mise à jour, regarde autre chose que la première ligne du tableau. Regarde si un labo accepte un jour de faire tourner son modèle dans le harnais d’un concurrent. Tant que ce n’est pas le cas, les 12 % nous renseignent autant sur les agents que sur les outils de ceux qui les pilotent. En attendant, personne dans ce classement n’est en état de signer une note clinique.
Sources :
Comments are closed