Posts about inférence rapide

Avec DiffusionGemma, Google et NVIDIA balancent un modèle open source qui génère 256 tokens en parallèle et atteint 1000 tokens par seconde sur un seul GPU.