Une étude publiée sur ArXiv révèle que les systèmes LLM-as-judge, utilisés massivement pour évaluer automatiquement les IA, sont en réalité d'une incohérence crasse, avec des violations de transitivité qui rendent leurs verdicts aussi fiables qu'une pièce truquée.