« C’est quoi, un 11 septembre allemand ? » Sur les 28 modèles passés au crible par Cohere Labs, un seul a trouvé. Sept ont répondu « les tours jumelles ». La bonne réponse, c’était le 9 novembre 1989, le jour où le mur de Berlin est tombé. En Europe, le jour passe avant le mois. Vingt-sept modèles sur vingt-huit se sont vautrés sur un format de date.
Voilà le genre de détail qui sépare un modèle qui parle une langue d’un modèle qui comprend ceux qui la parlent. Cohere Labs a baptisé son truc « CulturalRiddles », et le résultat est publié cette semaine : des devinettes, pas des quiz de vocabulary. Parce que demander à quelle heure on petit-déjeune au Japon, c’est de la recherche Google avec des tokens. Demander de relier deux savoirs culturels qui n’ont rien à voir pour en sortir une réponse, c’est autre chose.
Julia Kreutzer, chercheuse chez Cohere Labs, résume le problème sans détour : ce sont « ces petites nuances, ces concepts flous difficiles à capturer, qui ne sont pas faciles à vérifier. C’est là que la complexité du réel s’invite. »
Six mois, 51 langues, zéro critère d’entrée
L’affaire démarre avec un diplomate hongrois, Boczka Károly, qui bricole des devinettes de culture magyar pour voir si les modèles mordent. Il partage ses résultats dans un Discord de recherche ouvert par Cohere Labs. Les réponses sonnent juste, elles sont fausses. Kreutzer voit le filon et transforme l’essai en projet mondial.
Le recrutement, c’est le point qui rend le truc intéressant : aucun prérequis, aucune compétence technique demandée. Juste une culture à laquelle tu t’identifies et l’envie d’écrire des devinettes. Un appel sur les réseaux, et le projet embarque un lycéen américain de 16 ans, Henry Gagnier, et une enseignante canadienne à la retraite, Jane Smith. Le genre de casting qu’on ne voit jamais dans une ablation study.
Le bilan chiffré : 166 volontaires de 45 pays, 51 langues, 68 154 réponses uniques évaluées et étiquetées à la main. Au passage, la communication de Cohere parle de « plus de 100 contributeurs de plus de 50 pays ». Les deux décomptes ne concordent pas, mais peu importe : le volume est là, et il a été produit par des gens qui parlaient de leur propre culture, pas par des annotateurs payés à la tâche sur une plateforme.
Le podium, et ce qu’il dit vraiment
Gemini 3.1 Pro Preview finit premier avec 79,4 % de réponses correctes. GPT-5.5 suit à 76,3 %, Claude Opus 4.7 Thinking ferme la marche du trio de tête à 66 %. Les 25 autres modèles testés ne sont pas détaillés dans ce qu’on a de public.
Alors, 79,4 %, c’est bien ou c’est nul ? Les deux. Pour un modèle qui n’a jamais mis les pieds à Berlin, c’est loin d’être ridicule. Mais ça veut dire qu’un peu plus d’une devinette sur cinq part en fumée, et que cette moyenne cache des gouffres : un modèle peut briller en anglais et rentrer bredouille ailleurs. Gagnier raconte sa surprise devant le bugis, langue qu’il pensait « assez couramment parlée » : connaissance quasi nulle de la langue, donc de la culture qui va avec. On a déjà documenté ici le même symptôme avec GPT-OSS-20B, qui continue de raisonner en anglais quand tu lui écris en français. La langue d’entraînement ne se contente pas de colorer les réponses, elle décide de ce que le modèle est capable de comprendre.
Le vrai scandale n’est pas l’erreur, c’est le ton
Ce qui a le plus remué les volontaires, ce n’est pas le taux d’échec. C’est l’assurance. Jane Smith, l’institutrice : « J’ai été surprise du peu de fois où les modèles répondaient “je ne sais pas”. À la place, ils sortent des réponses qui sonnent très autoritaires, ce qui te ferait croire : ah, ce truc sait de quoi il parle. »
Voilà le cœur du problème, et il dépasse largement les devinettes. Un modèle mal calibré qui se trompe, tu peux le corriger. Un modèle qui se trompe avec la voix du types qui a lu tous les livres, tu ne le vois même pas passer. La question n’est pas de savoir s’il connaît le 9 novembre 1989, c’est de savoir s’il te le dira quand il ne le sait pas.
Reste à ne pas surjouer la portée du papier. Un benchmark de devinettes reste un benchmark : les questions ont été écrites par des volontaires, chacune dans sa culture, avec des niveaux de difficulté qui n’ont rien de comparable d’un pays à l’autre. Additionner tout ça en un score unique, c’est pratique pour un classement, beaucoup moins pour conclure quoi que ce soit sur la culture en général. Les chercheurs ont d’ailleurs entraîné un modèle juge sur les évaluations des experts pour boucher les trous là où l’annotation manquait, ce qui réintroduit une couche de subjectivité algorithmique dans la mesure même de la subjectivité. Et un riddle, ça se devine autant que ça se sait : réussir une devinette ne prouve pas qu’on a compris la culture qui la sous-tend, juste qu’on a trouvé le bon chemin dans le raisonnement.
Ce que le papier établit solidement, en revanche, tient en une ligne : la fluence et la compréhension sont deux compétences distinctes, et le secteur a passé des années à vendre la première en la faisant passer pour la seconde. Le classement de Kreutzer ne mesure pas l’intelligence des modèles. Il mesure l’épaisseur de la couche de vernis.
En vieil anglais, « riddle » vient de « rædan », qui veut dire interpréter. Les modèles, eux, ont surtout appris à deviner.
Sources :
Comments are closed