On a tendance à croire que les LLM doivent forcément aligner des tokens un par un, comme un môme qui apprend à lire. Google et NVIDIA viennent de rappeler que, dans l’IA, tout paradigme a une date de péremption. DiffusionGemma, c’est le dernier bébé de Google DeepMind, et il secoue le game de la génération de texte en utilisant… un mécanisme de diffusion, directement piqué à la génération d’images.
Au lieu de prédire le prochain mot à chaque étape, DiffusionGemma part d’un bruit aléatoire et le transforme progressivement en texte cohérent, en sortant 256 tokens à la fois. Résultat : sur une simple H100, on frôle les 1000 tokens par seconde — environ quatre fois plus vite que les modèles traditionnels comparables. Et grâce à NVIDIA, ça tourne aussi sur les RTX des particuliers, sur les stations RTX PRO, et sur les DGX Spark. Du local au cloud, le bazar est optimisé.
On n’a pas encore trouvé le Saint Graal de l’inférence rapide. La qualité du texte produit est légèrement inférieure à celle des modèles autoregressifs classiques. Google le revendique d’ailleurs comme un modèle expérimental pour développeurs. Mais l’équation commence à devenir intéressante : sacrifier un poil de qualité pour un gain de latence massif, surtout dans des cas d’usage single-user où la réactivité compte plus que la perfection stylistique.
C’est pas la première fois que Google explore cette direction — un modèle similaire avait été brièvement montré l’an dernier sous le nom de Gemini Diffusion. Mais cette fois, c’est du concret, sous licence Apache 2, avec les optimisations NVIDIA et une volonté claire d’en faire un outil pour la communauté. Le code et les poids sont disponibles, et NVIDIA héberge déjà le modèle pour les tests.
Alors oui, la qualité n’est pas encore au niveau des gros modèles autoregressifs. Mais pour des applis temps réel, des assistants vocaux, ou du texte court à la volée, ce nouveau paradigme pourrait bien enterrer le « token par token » plus vite que prévu. Et ça, c’est une nouvelle qui décoiffe.
Sources :
Comments are closed