Kimi K3.1 Pro perd cinq places au nouveau barème d’Artificial Analysis
Kimi K3.1 Pro était quatrième d’un classement. Le voilà neuvième. Le modèle n’a pas changé d’un paramètre : ses poids sont même encore annoncés pour le 4 novembre, comme je l’écrivais dans mon papier de la semaine dernière. C’est le classement qui a changé de règle, et les modèles ouverts ont ramassé la facture en pleine poire.
L’Intelligence Index d’Artificial Analysis est passé en v5. Selon Interconnects AI, c’est l’indice indépendant le plus suivi pour les modèles de frontière, Epoch AI et son Capabilities Index pointant loin derrière. Le verdict est net : huit modèles fermés se retrouvent devant le meilleur modèle à poids ouverts, et l’écart entre l’open et le sommet du tableau bondit de 3 à 12 points. Grok 4.7 encaisse 12 points de moins au passage. Personne n’a touché aux modèles.
Ce qui a changé dans la règle
Le gros morceau, c’est le secret. 60 % de l’indice repose désormais sur des jeux de test privés, une première, avec un objectif affiché : tuer le « benchmaxxing », cette manie d’entraîner un modèle sur les questions des benchmarks publics pour aller chercher la note.
La nouvelle grille se découpe en quatre blocs de 25 %. Le travail de connaissance (AA-Briefcase, AutomationBench-AA, GDP.pdf), le code (FrontierCode 2.0, Terminal-Bench 4.0), la science (Terminal-Bench-Science, CritPt v2 sur son sous-ensemble difficile) et le général (AA-Omniscience v1.1, HLE-Diamond). La présentation d’Artificial Analysis prétend coller à l’usage réel de 2026. Dans les faits, ça mesure surtout là où va la frontière, et la frontière, aujourd’hui, parle anglais, coûte cher et sort de trois ou quatre labs.
Nathan Lambert, qui signe l’analyse dans Interconnects, ne se contente pas de l’explication officielle. Le benchmaxxing n’explique qu’une partie de la chute. Le reste tient à l’entraînement par renforcement, où les labos construisent des environnements qui ressemblent furieusement aux benchmarks. Tenir sur plusieurs domaines à la fois demande une infrastructure RL sérieuse, et tout le monde n’en a pas.
Un chiffre pour arbitrer mille milliards
Le vrai sujet, c’est le poids politique d’un tableur. Un indice unique, c’est pratique pour discuter, écrire un rapport, trancher entre deux modèles. Sauf qu’aucune méthode d’agrégation n’est gratuite. Choisir les pondérations, c’est choisir un camp, et avec l’argent qui circule dans le secteur, ce choix désigne les gagnants et les perdants d’un marché à mille milliards de dollars. Lambert le dit sans détour : ces indices sont « extrêmement utiles et massivement imparfaits ». Lui-même note que la v5 donne GPT 6.1 Terra devant Claude Fable 5.1, le genre de détail qui fait lever un sourcil.
Le revers du secret, c’est que plus personne à l’extérieur ne peut repérer une question cassée. La preuve qu’elles le sont parfois, c’est qu’Artificial Analysis a dû réécrire des questions ambiguës ou carrément fausses d’AA-Omniscience pour sortir la nouvelle version. Un test opaque qu’on corrige en interne, voilà le prix de la propreté méthodologique.
Et il faut le dire à la décharge des nouveaux entrants : l’ancien indice flattait les modèles ouverts. Lambert l’écrit noir sur blanc, les meilleurs ouverts font un peu de benchmaxxing, les pires en font beaucoup. La flexibilité et la fiabilité des gros modèles fermés, elles, restent une marche au-dessus. La claque de Kimi n’est donc pas qu’un artefact de calcul, même si elle arrange bien les affaires de ceux qui vendent du token à prix d’or.
La valeur des ouverts n’a jamais été la frontière
Là où les modèles ouverts décrochent vraiment sur cette v5, c’est la science : Terminal-Bench-Science, CritPt v2. Sauf que la proposition de valeur n’a jamais été de gagner le concours de QI. Elle tient en deux promesses plus lentes : ramener à un prix de matière première les domaines où la demande d’inférence explose, et permettre à une boîte de posséder son intelligence, de la spécialiser sur ses données et de contrôler ses agents en interne. Aucune des deux ne rentre proprement dans un score sur 100.
Le détail qui dit tout : tant que le compute reste rare, les fournisseurs de modèles ouverts se gavent de marges confortables. Le jour où ça se tasse, on saura que le marché fonctionne vraiment. Pas avant.
Lambert parie sur le prochain cycle, GLM 6 ou Kimi 3.5 dans deux ou trois mois, pour voir les labos ouverts faire un bond sur l’indice et surprendre tout le monde. C’est le même film depuis des années, on connaît la fin de chaque épisode.
Un indice qui mesure où va la frontière peut très bien rater le moteur économique du secteur. En attendant, c’est lui qu’on cite dans les slides, lui qui fait bouger les budgets, et il vient d’être révisé dans un billet de blog. Kimi n’a pas rétréci. C’est la règle qui a changé, et la facture, elle, est tombée tout de suite.
Sources :
Comments are closed