Posts about benchmarks

Aucun agent IA ne dépasse 12 % au nouveau benchmark de SemiAnalysis

SemiAnalysis a jeté les agents dans huit heures de travail simulé : le meilleur plafonne à 12 %, et la correction elle-même laisse à désirer.

Kimi K3.1 Pro perd cinq places au nouveau barème d’Artificial Analysis

Kimi K3.1 Pro passe de la quatrième à la neuvième place sans qu'on touche à ses poids, juste parce qu'Artificial Analysis a réécrit son indice et caché 60 % des tests.

Brockman dit que l’AGI est là, le harnais public dit 62,7 %

OpenAI claironne 99,9 % sur ARC-AGI-3, le même modèle tombe à 62,7 % dans le harnais public, et son président affirme que l'AGI est arrivée sans pouvoir désigner le moment où elle serait apparue.

Kimi K3.1 Pro promet ses poids pour le 4 novembre

Moonshot promet les poids de Kimi K3.1 Pro pour le 4 novembre, mais ce qui est déjà là, c'est une API, une quatrième place chez Artificial Analysis et un accueil en dents de scie.

Microsoft te vend un modèle qui décide à ta place, le cerveau vient de Chine

Microsoft-Decision-1 tranche entre des options prédéfinies en 85 millisecondes, bâti sur un modèle chinois et testé par Microsoft lui-même. Personne d'autre n'a mis le nez dedans.