2,4 trillions, ce n’est plus assez pour ByteDance. La boîte derrière TikTok et Doubao a décidé de faire péter les compteurs avec un modèle de plus de 5 trillions de paramètres. La nouvelle, dévoilée par AIBase, fait déjà saliver les amateurs de chiffres qui impressionnent en soirée.
Pour bien mesurer l’ampleur du truc, posons les choses. Kimi K3, le chouchou de Moonshot, culmine à 2,8T. Qwen 3.8-Max, le gros bébé d’Alibaba, s’arrête à 2,4T. ByteDance vise donc le double, ou presque. À ce niveau, on parle de GPT-5.6 ou d’Opus 5, pour ceux qui aiment les repères américains.
Sauf que, comme souvent dans le genre, faut pas vendre la peau de l’ours avant de l’avoir tué. Le projet est encore au stade de la discussion. Deux noms circulent pour le piloter : Xiang Liang et Shen Ke, du département Seed, en cours de restructuration pour l’occasion. Bref, tout un chantier.
Et le chantier a un coût. Un million de GPUs, à écouter les calculs qui circulent, pour entraîner ce monstre. Un million. Autant dire que l’addition va faire mal, même pour une boîte qui peut larguer des milliards comme on jette une pièce à un mendiant. On est dans les eaux de Google et de ses 200 milliards pour Anthropic, pour situer.
Mais ce qui pique vraiment, c’est le petit détail qui tue. Zhang Yiming, le fondateur, aurait ordonné une interdiction interne de distillation. ByteDance, qui s’est fait un nom (et des milliards) en s’inspirant beaucoup de ce que faisaient les autres, interdit maintenant à ses équipes de distiller. C’est le loup qui ferme la porte de la bergerie après avoir bouffé toutes les brebis.
On ne va pas refaire l’histoire de la distillation chinoise : on en parlait déjà à propos de Kimi K3, qui s’était pris 32% à l’examen cybersécurité et dont on suspectait fortement qu’il avait un peu trop écouté les copains américains. Là, le symbole est tellement gros qu’on pourrait le voir d’une autre galaxie.
Non, on ne va pas dire que 5T, c’est mal. L’obsession du nombre de paramètres finira par montrer ses limites, parce qu’on sait déjà que la qualité des données et l’architecture comptent autant, sinon plus. En attendant, les Chinois continuent de pousser la machine, et les Américains peuvent toujours courir après.
La question est de savoir si ce modèle verra le jour ou restera dans les cartons de la stratégie. Pour l’instant, AIBase précise qu’il pourrait ne jamais sortir. Et ça, c’est peut-être la seule certitude du dossier.
Sources :
Comments are closed