Si tu construis une app de shopping visuel, un outil d’extraction de factures, ou un analyseur de graphiques, alors tu sais que le pire cauchemar, c’est ton modèle qui aligne des phrases ronflantes complètement décorrélées de l’image source. Un LLM text-only peut pondre une description de chat quand on lui montre un chien, et on passe trois heures à debugger.
Amazon dévoile la solution : des évaluateurs multimodaux pour Strands Evals, son framework d’évaluation. Le principe est simple mais balèze : un MLLM (multimodal large language model) fait office de juge. Il regarde l’image ET la sortie texte, et il dit si ça colle ou si c’est du flan. Finies les vérifications à l’arrache, place à la validation automatisée et fiable.
Prenons des cas concrets. Une légende de produit sur Amazon qui décrit une robe rouge alors que l’image montre une robe bleue : le juge multimodal le détecte. Un total de facture extrait qui annonce 150€ alors que le document dit 1500€ : le juge le signale. Un résumé de graphique qui invente une tendance à la hausse alors que la courbe descend : le juge sauve la mise.
Bien sûr, rien n’est parfait. Un juge IA reste un juge IA : il peut avoir ses biais, ses hallucinations, ses aveuglements. Mais comparé à un évaluateur purement textuel, c’est le jour et la nuit. Amazon propose plusieurs modèles préconfigurés – Claude, Gemini, leurs propres modèles internes – avec des métriques de confiance pour savoir quand se méfier du verdict.
Alors oui, c’est une feature technique de plus dans le barnum AWS. Mais pour ceux qui construisent des apps sérieuses, c’est le genre d’outil qui transforme un « on croise les doigts » en « on a la preuve que ça marche ». Pas de révolution, juste du bon sens bien emballé. Et ça, chez MOGWAI, on applaudit.
Sources :
Comments are closed