Le faux modèle de Simon Willison apprend la compta
llm-echo ne fait rien de ce qu’on attend d’un modèle. Pas de poids, pas de GPU, pas de milliards de paramètres. Tu lui tends un prompt, il te le rend tel quel. Un miroir en plugin, pour tester la tuyauterie du reste sans claquer un centime.
Sauf que la version 0.5, datée du 18 octobre, ajoute une couche inattendue. Ce perroquet se met à afficher une consommation de tokens. Appels d’outils, prompts système, tokens de raisonnement, tout y passe. Simon Willison, l’auteur du bazar, l’annonce sans détour dans sa note de version.
Une facture simulée pour un modèle qui ne facture rien, ça ressemble à une blague de développeur. C’est surtout un aveu. Le compteur de tokens n’est plus un simple curseur entrée/sortie. Si tu veux tester sérieusement ce que va coûter une requête, il faut additionner le prompt système que tu n’as pas écrit, les appels d’outils qui partent en cours de route et les tokens de raisonnement brûlés avant même la première ligne de réponse. Trois postes que ton estimation mentale zappe systématiquement.
Résultat : pour vérifier ta vraie facture, tu dois la simuler sur un modèle qui n’existe pas. La comptabilité des LLM est devenue assez bordélique pour qu’il faille un faux mètre étalon pour calibrer le vrai. Bravo l’artiste.
Le plugin cassé, l’aveu dans la foulée
Même nuit, même maison, une autre release. llm-tools-datasette passe en 0.1.1 pour une raison qui sent le vécu : Willison a migré LLM vers httpx2 dans la 0.33, en oubliant que des plugins tapaient sur httpx sans jamais le déclarer en dépendance. Ceux-là se sont retrouvés les pieds dans le vide. Le plugin est réparé, la note de version est brève, et l’aveu est explicite.
C’est le genre de détail qui explique mieux l’état réel d’un écosystème que n’importe quel communiqué. Un changement de lib dans le socle, une dépendance transitive jamais écrite noir sur blanc, et une extension qui tombe. Personne n’a menti, personne n’a saboté. Le mainteneur a simplement oublié qu’il était aussi le sol sur lequel les autres marchent.
Deux releases, un seul type devant son terminal, et la même leçon dans les deux. Dans un monde de plugins, tu finis toujours par ramasser les dégâts de tes propres arbitrages.
Après, il reste une consolation. Le seul modèle dont Willison connaît la facture au token près, c’est celui qui ne facture rien.
Sources :
Comments are closed