Tu as empilé quatre agents, deux outils et un routeur au milieu de ta chaîne logistique. Le jour où une commande part en vrille, personne dans l’équipe ne sait qui a décidé quoi, ni pourquoi. Ça, AWS l’a bien compris : la boîte vient de publier un mode d’emploi pour noter ce petit monde.
Le billet, signé des blogs Amazon AI et AWS ML, ne vend pas un nouveau modèle. Il vend une méthode. Tu construis un système multi-agents de décision logistique sur Strands (la brique maison d’Amazon pour orchestrer plusieurs agents), puis tu le passes au crible de Bedrock AgentCore Evaluations. Trois familles de correcteurs au menu : des évaluateurs intégrés, des évaluateurs sur mesure, et des évaluateurs dits d’explicabilité.
Ça sent le tutoriel technique assommant. Sauf qu’il y a une phrase qui mérite qu’on s’arrête dessus. Les systèmes multi-agents, lit-on, ont besoin de « garanties plus profondes que des réponses fluides ». Relis-la deux fois. C’est un aveu, pas un argument de vente. Ce qui veut dire : ton agent peut causer comme un prix Nobel et se planter comme un stagiaire de première année. La fluidité, cette qualité qu’on adore vendre, ne dit rien de la justesse. On en parlait déjà avec le mode d’emploi mal lu par ton agent.
Le problème décrit est réel, et faut lui laisser ça. Un agent seul, tu peux encore le tester à la main. Trois agents qui se passent le relais, qui piochent chacun dans leur boîte à outils et qui décident en cascade, ça devient une auberge espagnole où plus personne ne trace rien. Le harnais qui fait dérailler ton agent, on connaît le refrain.
Là où je décroche, c’est sur la mécanique de notation. Pour savoir si ton système choisit le bon outil et respecte les contraintes, on te propose… des évaluateurs. Et ces évaluateurs, ils tournent sur quoi ? Sur un modèle. Vendu par le même AWS. Donc tu confies la correction de tes agents à un agent. La boucle est bouclée, le carnet de notes se corrige tout seul.
Le bouquet, c’est l’évaluateur d’explicabilité. Le principe : on demande à l’agent d’expliquer pourquoi il a fait tel choix. L’intention est bonne. Dans les faits, tu demandes à une machine de te raconter ses intentions, et tu la crois sur parole. Un agent qui se plante et qui t’explique doctement pourquoi il a eu raison, ça porte un nom : la post-rationalisation. Le sport national des LLM.
Reste le choix du cas d’usage. Chaîne logistique. Approvisionnement. Décision d’achat. Pas de robot humanoïde, pas de film généré, pas de démo qui claque. Amazon vise le sale boulot, celui où les agents vont vraiment atterrir en premier. Comme on le disait déjà, le filon le plus rentable de l’IA, c’est le plus ennuyeux.
Va pas croire que tout est à jeter. Poser un cadre, des métriques, des tests sur des systèmes multi-agents, c’est dix fois mieux que de déployer à l’aveugle et prier. Surtout que les agents d’AWS ont déjà arrêté d’attendre sagement ton prompt. Le vrai souci, c’est qui tient le stylo rouge. Tant que la seule façon de noter une IA consiste à demander à une autre IA de le faire, tu mesures ta confiance dans le vendeur, pas la qualité de ton système.
Un examen où le correcteur a les mêmes lacunes que l’élève, ça ne s’appelle pas une évaluation. Ça s’appelle une réunion d’auto-congratulation.
Sources :
Comments are closed