Tu deployes des LLMs sur SageMaker AI, tu croises les doigts pour que ça rame pas et que les réponses soient pas complètement à côté de la plaque. Jusqu’ici, les métriques techniques (utilisation GPU, latence) et la qualité des réponses étaient dans des outils différents. Amazon vient de sortir une solution pour tout foutre dans le même tableau de bord, via Managed Grafana.
L’idée : une vue holistique (oui, je l’ai dit) qui combine les indicateurs de performance et ceux de qualité. Tu vois en un coup d’œil si ton modèle commence à halluciner en même temps que le GPU tire la gueule. Pratique pour trancher entre un souci d’infra ou une dérive du modèle.
Le tout tourne avec les inference components de SageMaker. Si t’as pas encore migré vers cette architecture, note que c’est le moment de t’y mettre, ou de rester avec tes vieilles métriques séparées. Amazon te fournit les dashboards Grafana prêts à l’emploi, tu branches l’observabilité de tes endpoints et voilà.
C’est pas une révolution, c’est du bon sens. Mais dans un monde où les LLMs sont devenus des boîtes noires qu’on alimente en prod, avoir une vue d’ensemble qui mélange code et tokens, c’est pas du luxe. Maintenant, si tu pouvais aussi avoir un bouton « réparer tout ça » à côté, on serait peinards.
Sources :
Comments are closed