GPT-OSS-20B raisonne en anglais même quand tu lui parles français
Demande à GPT-OSS-20B de réfléchir en français. Il enregistre la consigne, il dit oui, et il déroule son raisonnement en anglais. Pas par provocation. Par construction.
Chez AWS, quelqu’un a eu la bonne idée de le mesurer au lieu de le supposer. Sur 50 cas de test (10 problèmes de maths et de logique déclinés en cinq langues), le modèle à poids ouverts ne raisonne dans la langue demandée que 22 % du temps. Le détail des scores fait mal : 100 % en anglais, 10 % en allemand, 0 % en français, 0 % en espagnol, 0 % en italien. Le modèle ne choisit pas l’anglais, il retombe dessus, comme un accent qu’on n’arrive pas à perdre.
Le blog machine learning d’AWS a publié le 19 octobre la recette pour corriger ça sur SageMaker HyperPod. Ce qui rend le papier intéressant, ce n’est pas la tuyauterie (TRL, veRL, Ray, KubeRay, vLLM, FSx for Lustre, EFA, tout le catalogue y passe). C’est la hiérarchie entre les deux méthodes que le secteur vend en bloc : le SFT, l’apprentissage supervisé classique, et le GRPO, le renforcement à la mode.
Le SFT avale 78 points, le renforcement en grignote 8
Le jeu de données, c’est Multilingual-Thinking, un corpus de chaînes de raisonnement traduites en français, espagnol, allemand et italien, avec environ 949 exemples d’entraînement et 50 de validation. Le modèle reçoit une langue de raisonnement en consigne système et doit raisonner puis répondre dedans, contre son penchant anglais.
Après SFT, la langue du raisonnement passe à 100 %. Les réglages sont modestes : LoRA r=8, α=16, 1 000 étapes sur 4 instances ml.g6e.12xlarge, soit 16 GPU L40S de 48 Go, FSDP en full-shard, bf16, gradient checkpointing. Rien d’exotique. Seize GPU pendant mille étapes, ce n’est quand même pas le prix d’un café, et c’est pour une seule famille de langues.
Le GRPO, lui, ajoute 8 points là où il restait de la marge, sur la langue de la réponse : 62 % avant, 70 % après. Relis les deux chiffres côte à côte. Le modèle raisonne correctement en français à tous les coups et il te répond encore en anglais trois fois sur dix. Voilà le genre d’écart que les démos ne montrent jamais et que l’utilisateur, lui, voit tout de suite.
Le témoin Qwen confirme, et ce n’est pas une bonne nouvelle pour le renforcement
Pour vérifier que le GRPO n’agit pas comme un placebo, AWS a fait tourner un second modèle, Qwen2.5-7B, sur deux tâches de nature différente. Sur le raisonnement multilingue, le renforcement rapporte 6 %. Sur GSM8K, où le modèle pointait déjà à 90,5 %, il rapporte zéro. Rien du tout.
L’explication tient en une phrase, et elle est presque trop simple : le GRPO échantillonne un groupe de réponses par prompt et pousse la politique vers celles qui dépassent la moyenne du groupe. Si le comportement visé a une probabilité nulle dans la distribution de départ, tu échantillonnes du vide et tu renforces du vide. D’où le 0 % de français qui ne se corrige pas au renforcement mais au SFT, et le 90,5 % de GSM8K qui n’a plus rien à mordre.
La règle qui en sort n’a l’air de rien, et elle devrait être placardée dans tous les comités d’architecture : SFT pour combler un trou, SFT plus GRPO quand il reste de la marge, GRPO au placard quand le modèle est déjà bon. Trois lignes qui économisent des semaines de GPU à la moitié du secteur.
Le vrai sujet, c’est la langue intérieure
Le détail qui compte le plus dans cette histoire n’est pas dans les tableaux. C’est que les modèles de raisonnement pensent en anglais. Pas par idéologie, par corpus : l’anglais domine les données d’entraînement, et le chemin de réflexion reste anglophone même quand la réponse est proprement traduite. Un utilisateur français reçoit donc une conclusion en français dont il ne peut pas auditer le raisonnement, sinon en anglais.
Ce n’est pas la même histoire que le trillion de mots traduits chaque mois, dont je parlais il y a quelques jours (https://mogw-ai.com/applications/lia-traduit-un-trillion-de-mots-par-mois-mais-le-sens-ne-suit-pas-toujours/), mais le problème est cousin. Là, il ne s’agit pas de traduire la sortie, il s’agit de changer la langue dans laquelle la machine réfléchit. Et ça ne se règle pas avec un prompt poli.
La facture, elle, est limpide : une campagne de fine-tuning par modèle et par groupe de langues, avec les GPU qui tournent. Le multilinguisme des assistants n’est pas un réglage, c’est un budget. Les vendeurs de modèles te parlent de 100 langues dans la plaquette, rarement du coût de la cent unième.
Un dernier point, qu’il faut reconnaître à AWS : le billet publie ses pertes. Le 62 % de langue de réponse après SFT, le zéro point de gain sur GSM8K, la marge qui manque. C’est un vendeur de compute qui documente les cas où son compute ne sert à rien. Dans ce secteur, c’est assez rare pour être signalé.
Un modèle qui pense en anglais et te répond en français, c’est un collègue qui traduit la réunion après avoir tranché sans toi. Sauf que là, c’est toi qui paies les GPU.
Sources :
Comments are closed