Un modèle vision-langage lit ta page produit, lui colle quatre notes, une confiance et un paragraphe d’explications. Puis un gradient boosting regarde tout ça et décide de la vraie note. Voilà la recette qu’Amazon décrit dans un billet publié le 5 novembre sur le blog ML d’AWS, à propos de son A+ Content, ces modules visuels qui s’affichent en bas des fiches produit.
Le principe de départ est simple et tout le monde le connaît : plus une fiche est soignée, plus elle vend. Amazon avance même une fourchette, 8 à 20 % de ventes en plus pour les vendeurs qui utilisent un A+ Content de haute qualité, par rapport à ceux qui n’en ont pas du tout. Fourchette maison, publiée dans son propre billet, sur une comparaison entre présence et absence de contenu. Pas une mesure de l’effet d’une amélioration de qualité. Garde ça en tête pour la suite.
La page entière, pas les morceaux
Les modèles de vision classiques savent déjà repérer une image floue ou une faute dans une liste de caractéristiques. Le billet le dit sans détour : faire noter chaque asset séparément par un VLM n’apporte pas grand-chose de plus. Le problème est ailleurs, dans ce qui n’apparaît que quand on regarde l’ensemble.
Leur exemple : une page de blender avec une image héros, une liste qui vante un bol de 64 oz et une photo lifestyle dans une cuisine moderne. Pris un par un, tout passe. Pris ensemble, la liste annonce un 64 oz et la photo montre un modèle monodose. Ou la photo lifestyle se retrouve au-dessus de l’image héros, et le client voit la cuisine avant de voir le blender. Ce genre d’incohérence ne se détecte qu’en évaluant la page comme un client la voit.
D’où le choix technique : on rend la page complète en une seule capture, et on donne cette image au modèle avec une grille d’évaluation. Quatre axes, chacun avec des critères explicites et des règles de retrait de points : narration visuelle, présentation des caractéristiques, mise en page, optimisation de la conversion. Le modèle rend, pour chaque axe, une note sur 10, une valeur de confiance et une justification en langage naturel. La tambouille est rangée sous l’étiquette SageMaker AI, avec de l’OCR et un classifieur dans le montage. Un volet génératif par diffusion doit ensuite proposer des visuels améliorés à partir de ces signaux de qualité.
Le VLM propose, CatBoost dispose
C’est là que ça devient intéressant. Un VLM préentraîné qu’on interroge avec une grille de critères note selon sa culture générale, et ses notes ne tombent pas forcément sur les standards qualité du e-commerce. La solution évidente serait de le fine-tuner sur des exemples annotés par des experts. Sauf que ça réclame de l’infrastructure GPU et que, avec seulement quelques milliers d’exemples étiquetés, le risque de surapprentissage est réel.
Alors Amazon ne touche pas au modèle. Le VLM et son prompt restent figés, ses sorties structurées (notes, confiances, justifications) deviennent de simples variables, et un classifieur CatBoost est entraîné dessus pour prédire les étiquettes qualité attribuées par les experts. CatBoost, bibliothèque de gradient boosting sur arbres de décision, se débrouille bien sur de petits jeux de données tabulaires. Et comme seul le classifieur est réentraîné, la mise à jour du système quand les annotations s’accumulent ou que les critères bougent, c’est un petit job CPU, pas une session de fine-tuning d’un modèle de fondation.
Relis la chaîne une fois : un modèle de langage et de vision rédige une appréciation argumentée, et c’est un empilement d’arbres de décision qui signe la note finale. Le composant le moins glamour de l’architecture est celui qui porte la décision. Il y a quelque chose de rassurant dans ce montage : quelqu’un, chez Amazon, a visiblement douté des notes brutes de son propre modèle.
Ce que le billet ne dit pas
Aucun chiffre sur l’accord entre le système et les annotateurs humains. Aucune mesure du taux d’erreur par catégorie de produit, alors que le billet insiste sur les nuances entre catégories. Rien sur le nombre d’exemples réellement étiquetés au-delà du « quelques milliers », ni sur la façon dont les vendeurs peuvent contester une note. Et rien sur ce que le volet diffusion fait exactement des recommandations, sinon qu’il génère des visuels améliorés.
Reste la question que le billet pose sans la poser. La grille de critères et les règles de retrait de points, c’est Amazon qui les écrit. Les vendeurs, eux, vont apprendre à optimiser pour cette grille. Quand une note devient un objectif, elle cesse d’être une bonne mesure, la loi de Goodhart n’a pas attendu les LLM pour être vérifiée. Dans six mois, les fiches produit d’Amazon seront peut-être excellentes pour le CatBoost et toujours aussi pénibles pour toi.
Cela dit, un système de modèles qui notent des pages, arbitré par des arbres de décision parce qu’on ne fait pas confiance aux dits modèles, c’est une description assez honnête de l’état de l’art en 2026. La partie qui juge est statistique, la partie qui décide est déterministe, et la partie qui assume les conséquences reste humaine. Pour l’instant.
Sources :
Comments are closed