Subquadratic, ça te rappelle un truc ? Non ? Normal, ils étaient en mode furtif jusqu’au mois dernier. Et quand ils ont enfin pointé le bout de leur nez, c’était avec une promesse qui sentait le souffre : « On a résolu le goulot d’étranglement mathématique qui empêche les LLM de respirer depuis presque une décennie. »
Sur le moment, tout le monde a levé un sourcil sceptique. Une startup de Miami, sans produit visible, qui claque une telle affirmation ? On en voyait passer tous les jours. Sauf que Subquadratic commence à mettre les mains dans le cambouis et à partager les résultats.
Le problème du quadratique
Pour faire simple, les LLM actuels souffrent d’une complexité quadratique. Plus tu ajoutes de paramètres ou de contexte, plus le coût de calcul explose. C’est le mur contre lequel tout le monde se cogne. Subquadratic prétend avoir trouvé une astuce mathématique pour linéariser le truc, ou du moins le rendre sous-quadratique. Si c’est vrai, on parle d’une rupture nette dans la scalabilité des modèles.
Des preuves, enfin
MIT Technology Review a eu vent de données partagées par la startup. Sans entrer dans les détails techniques (on te les épargne, t’as pas signé pour un cours d’algèbre linéaire), ils auraient démontré que leur approche tient la route sur des benchmarks standard. Pas de révolution sur les performances pures, mais une promesse de coûts d’inférence divisés par un facteur non négligeable.
Reste que l’enthousiasme doit être tempéré. On connaît la chanson : des papiers de recherche bluffants qui ne passent jamais à l’échelle. Subquadratic n’a pas encore ouvert son code, et les preuves fournies sont encore partielles. Mais le fait qu’ils sortent du silence avec des résultats concrets, plutôt qu’un simple communiqué de presse, change la donne.
En définitive, si leur approche est validée, ça pourrait redistribuer les cartes dans le monde des LLM, où la bataille fait rage entre les gros modèles closed-source et les alternatives open source. Moins de compute nécessaire, c’est aussi un argument écologique non négligeable. Mais on attend de voir les papiers complets, les reproductibilités, et surtout une implémentation robuste avant de crier au génie.
En attendant, on garde un œil sur cette petite boîte de Miami. Parce que des fois, c’est dans les startups les moins attendues que naissent les vraies ruptures. Ou alors c’est juste un coup de com’ bien huilé. L’avenir nous le dira… ah non, cette expression est bannie. Disons que dans six mois, on saura si Subquadratic a vraiment changé la donne ou si c’était juste un feu de paille.
Sources :
Comments are closed