Legora évalue ses agents sur des cabinets qui n’existent pas

L’agent a passé la nuit sur un data room de 10 000 fichiers. Tu veux savoir s’il a repéré la clause de changement de contrôle. Tu ouvres les traces. Chez Legora, il n’y en a pas. Ce que l’agent brasse appartient aux clients du cabinet d’avocats, pas au cabinet. Et un éditeur qui se balade dans les dossiers d’un cabinet new-yorkais ne reste pas éditeur très longtemps.

Voilà donc la boîte qui a passé les 100 millions de dollars de revenus récurrents annuels en avril, moins de dix-huit mois après son lancement, avec plus de 1 800 clients au compteur, condamnée à noter son propre produit sans jamais le regarder travailler. Jacob Lauritzen, son CTO, raconte l’astuce dans Latent Space.

Deux fois 550 millions et cinq rachats

Le contexte d’abord, parce qu’il donne le vertige. Legora a levé 550 millions en mars sur une valorisation de 5,55 milliards de dollars, puis 550 autres en octobre, cette fois à 8,8 milliards. Cinquième rachat de l’année : Wexler. Et pour la due diligence de ses propres emplettes, l’entreprise a utilisé son propre agent. La machine tourne, le carnet de commandes aussi.

Sauf que l’essentiel du travail se fait dans le noir. La plupart des fichiers déposés par les utilisateurs sont confidentiels, et beaucoup appartiennent aux clients du cabinet, pas au cabinet lui-même. L’équipe qui voudrait lire les traces pour améliorer l’agent se heurte à un mur juridique. Alors elle fabrique des cabinets fictifs.

Trois ingénieurs, trois avocats, 10 000 faux contrats

La cellule d’évaluation réunit trois ingénieurs et trois avocats. Ensemble, ils construisent des environnements qui imitent le boulot réel, sur le modèle des « mondes » utilisés en apprentissage par renforcement. L’exemple donné par Jacob Lauritzen : un data room de 10 000 fichiers, l’agent doit mener la due diligence et produire un rapport qui attrape les bons signaux d’alerte. Les résultats finissent sur une carte de chaleur, découpée par domaine de pratique et par type de tâche. Pourquoi ce découpage ? Parce qu’un nouveau modèle progresse souvent sur une catégorie de travail juridique et recule sur une autre. Un chiffre global ne dit rien d’utile.

En production, la boîte ramène les échecs à 10 ou 20 modes de défaillance connus, vérifiés par des contrôles LLM pas chers, planqués derrière des feature flags. Le pool humain derrière tout ça : une petite centaine d’ingénieurs juridiques, des avocats passés par trois ou quatre ans de gros cabinet, souvent avec un diplôme d’informatique en poche.

La démonstration la plus parlante de l’épisode ne vient pourtant pas d’une évaluation. La précision des citations est passée de 70 % à 99 % après une seule release, sans que Legora change quoi que ce soit de son côté. Tout ce que l’agent écrit renvoie à un passage surligné dans le PDF source, avec un cadre de délimitation, plusieurs couches plus bas. Quand le modèle s’améliore tout seul, la seule chose qui compte, c’est d’avoir la mesure pour le voir.

Le sélecteur de modèles qu’ils ne voulaient pas

Legora a longtemps refusé de laisser l’utilisateur choisir son modèle. Puis a cédé. L’argument de Jacob Lauritzen reste bon : un avocat n’a pas à trancher si un contrat relève d’une tâche « Sonnet haut de gamme » ou « Opus milieu de gamme ». C’est le boulot de l’éditeur de trouver le meilleur compromis entre qualité, coût, latence, gouvernance et disponibilité régionale. Le sélecteur existe, il ne devrait pas être un devoir d’utilisateur.

Le reste de la pile raconte les mêmes contraintes. Tout tourne sur Azure, parce qu’à la création de Legora les cabinets n’auraient accepté ni AWS ni GCP, et que Microsoft était déjà un fournisseur validé via la suite 365. Côté modèles, Lauritzen estime que l’IA traite déjà très bien environ 60 % du travail juridique. Sur ce périmètre, le problème n’est plus l’intelligence mais le coût et la latence. Le reste (analyse complexe, édition sur des contrats d’un million de tokens) réclame encore un cerveau plus musclé. Legora fait du post-entraînement sur des modèles à poids ouverts pour des tâches étroites comme la recherche juridique, sans intention de former son propre modèle frontière. Et pour la rédaction, Fable et Opus lui semblent trop bavards, Astra plus concis.

Le junior vaut plus cher qu’il y a deux ans

La partie la plus contre-intuitive concerne l’heure facturable. Aux États-Unis, les petites revues de routine basculent déjà vers des forfaits, certains cabinets les offrant même pour garder le client. L’argent se déplace vers la M&A, le contentieux et le temps passé avec le client. Et non, les juniors ne dégagent pas la sortie : un bon junior vaut plus cher aujourd’hui qu’il y a deux ans, parce qu’il abat beaucoup plus de boulot. Le même raisonnement que chez les développeurs.

Reste la question qui fâche, posée dans l’épisode : est-ce que les labos de modèles finiront par couper les outils juridiques comme ils ont coupé les outils de code ? Personne n’a la réponse, et Lauritzen ne la donne pas non plus.

Dans l’entretien, l’idée de racheter un cabinet d’avocats pour récupérer ses données est lancée à voix haute. Ce n’est pas un plan annoncé. Mais quand ton goulot d’étranglement, c’est de ne pas pouvoir regarder le travail de ton propre agent, la tentation finit toujours par avoir un prix. Legora en a racheté cinq cette année. Aucun n’était un cabinet. Pour l’instant.


Sources :

Categories

Comments are closed

Latest Comments

Aucun commentaire à afficher.