SemiAnalysis a jeté les agents dans huit heures de travail simulé : le meilleur plafonne à 12 %, et la correction elle-même laisse à désirer.
Un modèle du MIT réécrit les poids d'un autre et fait grimper son score au MATH-500, essentiellement parce qu'il arrête de bafouiller en cours de route.
Le rapport tendances d'InfoQ place l'inférence et les protocoles d'agents en tête de l'adoption, et laisse les modèles au rayon des meubles.
Kimi K3.1 Pro passe de la quatrième à la neuvième place sans qu'on touche à ses poids, juste parce qu'Artificial Analysis a réécrit son indice et caché 60 % des tests.
208 participants, une brique et ChatGPT : les paires humaines sortent des idées plus créatives et plus diverses, et l'écart s'élargit au fil des échanges.
La licorne britannique de la vidéo IA vaut 4 milliards, revendique 70 % du FTSE 100 comme clients, et son propre test public la juge peu authentique et assez chère.
Une sonde lit dans les activations de deux agents au même prix pour dire lequel s’entend, sauf quand l’entente n’a laissé aucune consigne.
1 946 agents ont analysé un atlas CRISPR de cerveau de souris en 32 minutes, citant 700 références contre 11 pour un agent seul. Le résultat, ce sont des hypothèses à tester en labo, pas des remèdes.
Sur 28 modèles interrogés par Cohere Labs, un seul a trouvé ce qu'était un « 11 septembre allemand ». Les autres ont répondu avec aplomb, et c'est ça le problème.
Les labos d'IA rêvent de faire de la science de pointe, mais leur premier terrain réel, les dossiers des chercheurs, amplifie les problèmes au lieu de les régler.
Un sondage Harvard auprès de 5 400 Américains montre que les hommes se prétendent plus experts en IA qu'ils ne le sont, jusqu'à reconnaître des dirigeants purement fictifs.