Google a de nouveau le meilleur modèle du monde. C’est Google qui le dit, c’est Artificial Analysis qui le confirme, et c’est à peu près tout ce que tu peux vérifier par toi-même. Gemini 4 Carbon n’est ouvert qu’à une poignée de défenseurs cyber triés sur le volet, sans date annoncée pour la suite. Le reste, ce sont des captures d’écran.
La fiche technique a de quoi impressionner. Carbon sort premier de 15 des 17 benchmarks mis en avant par Google, et il prend la première place de l’Intelligence Index v5 d’Artificial Analysis avec 59 points, devant Claude Opus 5.5 (58), GPT-6 Astra (57) et son propre prédécesseur Argon (50). Deux semaines après le lancement public d’Argon, le 13 octobre, voilà Argon déjà éclipsé. Argon avait pourtant été présenté le 30 septembre et retenu un moment par un examen du gouvernement américain avant de sortir.
Le classement a changé de règles au bon moment
Un détail que les tableaux de communication oublient volontiers : l’Intelligence Index v5 n’a plus rien à voir avec les versions précédentes. Il a été reconstruit pour éviter la saturation, avec 60 % de tests désormais privés ou à réponses non publiées. Les scores ne sont donc pas comparables à ceux d’avant. Je racontais hier comment ce même barème a fait dégringoler Kimi K3.1 Pro de 55 à 46 : quand la règle change, tout le monde bouge, y compris celui qui monte sur la boîte.
Sur la cybersécurité, les chiffres annoncés sont costauds : 88,2 % sur SEC-bench Pro pour la recherche de vulnérabilités, 54,8 % sur ExploitGym (contre 42 % pour Argon) et 71,0 % sur CWE-bench pour le patch. Sauf que Google précise lui-même que ces tests ont été menés sans aucun garde-fou. Ce que le client aura entre les mains, avec les filtres et les refus qui vont avec, personne ne le sait encore.
Là où Carbon perd, et ça compte
Le sans-faute n’existe pas. Sur FrontierSWE, Carbon plafonne à 61,2 %, derrière GPT-6 Astra (65,5 %), Opus 5.5 (62,3 %) et même Sonnet 5.5 (61,9 %). Sur OSWorld, Opus garde la tête avec 87,2 % contre 81,5 %. Sur le Coding Agent Index, Carbon marque 59 quand Claude Code avec Opus 5.5 en claque 62. Et ce dernier score a été mesuré dans Antigravity CLI, le harnais maison de Google : dans un autre outil, personne n’a testé.
Sur le travail de bureau, Carbon progresse de 126 points Elo face à Argon sur AA-Briefcase (1609), ce qui reste en dessous de Kimi K3.1 Pro à 1678. Il avale aussi 64 % de jetons de sortie en plus qu’Argon, essentiellement sur les tâches finance, fiscalité et droit, là où il truste d’ailleurs le Finance Index et le Legal Research Benchmark.
Et puis il y a le chiffre que Google n’a pas mis en avant : le taux d’hallucination mesuré par Artificial Analysis passe de 4 % sur Argon à 11 % sur Carbon. Il reste le deuxième plus bas du panel, mais il a presque triplé en un mois. En parallèle, Google revendique une division par deux des réponses non étayées face à Argon. Deux mesures, deux thermomètres, deux conclusions. Laquelle des deux correspond à ton usage ? Mystère, et ce n’est pas près de s’éclaircir.
Le reste du tableau sécurité est de la même eau : triche à 0,0 % sur Terminal-Bench 4.0, tentatives de triche à 0,4 %, sur-portée en baisse de 26 %, sous-service en baisse de 29 %, et 80 % d’alertes de désalignement grave en moins dans les environnements internes de développement. Tout ça vient de tests internes, non audités par un tiers.
Fairwind, et puis c’est tout
L’accès passe par le programme Fairwind, réservé aux défenseurs cyber de confiance. Google promet une ouverture développeurs « dès que possible ». Aucune date. Si on applique le calendrier d’Argon, il faudrait compter deux semaines de plus. Deux semaines pendant lesquelles les classements peuvent être retournés par la concurrence, qui livre au même rythme.
Le tarif n’est pas plus clair. On parle de 2 dollars par million de jetons en entrée et 10 en sortie, avec 95 % de remise sur les jetons d’entrée en cache, soit 0,20 dollar le million. Puis ça double à 4 et 20 dollars à l’issue d’une période de lancement. Artificial Analysis décrit une remise de 50 % sans date de fin. Google, lui, ne donne aucun détail temporel. La période promotionnelle d’Argon se termine le 1er décembre, et Argon reste au catalogue. Soit Google retire son ancien modèle à cette date, soit Carbon devient moins cher que son grand frère, ce qui ne tiendrait pas debout. Côté facture réelle, Artificial Analysis mesure 7,76 dollars par tâche d’index pour Carbon, contre 10,04 pour Opus 5.5 et 6,25 pour GPT-6 Astra, avec 29 % de jetons de sortie en moins qu’Opus.
La cadence comme argument de vente
Le vrai message de ce lancement n’est pas dans les 59 points. Il est dans le rythme. Sur la conférence de résultats, Sundar Pichai a expliqué que l’IA accélérait la vitesse d’entraînement et de sortie des modèles, et qu’il attendait une « accélération continue grâce au RSI » sur les douze prochains mois. Un ingénieur de Gemini décrit des boucles d’agents nocturnes et des essaims qui inspectent les données de RL, au point que les lancements ressemblent désormais à des « points de contrôle périodiques ».
Voilà le vrai changement : le modèle ne sort plus quand il est prêt, il sort parce qu’un point de contrôle est tombé. Une bonne partie du débat sur l’AGI se joue exactement là, et je disais il y a quelques jours ce que je pensais de l’écart entre les annonces et les harnais publics.
Reste l’estimation qui remet tout en perspective. Pour certains observateurs, dont scaling01, Google garde environ deux mois de retard sur les prochaines sorties d’OpenAI et d’Anthropic, et l’écart Chine-États-Unis tourne autour de 3,3 mois sur l’index de progrès d’Artificial Analysis. Être premier aujourd’hui sur un barème reconstruit il y a peu, avec un modèle fermé et un successeur déjà dans les tuyaux chez les voisins, ce n’est pas une couronne. C’est une photo.
Un modèle numéro un que personne ne peut lancer, dont on ignore la date d’ouverture et le prix définitif, et dont la seule mesure d’usage réel est le communiqué, ça s’appelle une annonce. Pas un produit. Google a gagné le classement. Le match, lui, continue sans lui.
Sources :
Comments are closed