L’IA a besoin de dormir et d’oublier pour apprendre, disent les chercheurs

Contrairement à ce qu’on pourrait penser, les machines pourraient avoir besoin de sommeil et d’oubli. Deux papiers de recherche déposés le même jour sur ArXiv proposent des mécanismes biologiques pour améliorer les LLMs : une phase de sommeil pour consolider la mémoire, et l’utilisation de l’oubli comme outil d’apprentissage.

Le sommeil des machines

Dans « Language Models Need Sleep », des chercheurs (Lee, McLeish, Goldstein et al.) s’attaquent au problème de passage à l’échelle des mécanismes d’attention sur de longs contextes. Leur idée : faire comme nous. Pendant la journée, le modèle accumule du contexte dans son cache clé-valeur. La nuit, il fait une « sieste » où il exécute des passes récurrentes hors ligne sur ce contexte, mettant à jour des poids rapides persistants dans ses blocs SSM. Résultat : le modèle peut traiter des tâches longues (automates cellulaires, graphes multi-sauts, raisonnement mathématique) sans exploser le coût de l’attention. En gros, il déplace le gros du calcul vers la phase de sommeil, gardant la prédiction en temps réel aussi légère que possible.

L’oubli qui sauve

De l’autre côté, « Forgetting in Language Models » de Marek, Cho, Qiu et al. s’attaque au problème du désapprentissage. Quand un modèle apprend une nouvelle tâche, il oublie souvent les précédentes. La solution classique : rejouer des exemples stockés. Pas pratique. Leur astuce : faire générer au modèle lui-même des échantillons de son propre entraînement passé. Ces auto-échantillons servent de replay presque parfait, éliminant l’oubli… sauf quand le modèle est saturé, proche de sa capacité maximale. Dans ce cas, impossible d’ajouter sans écraser. Le papier montre aussi que de faibles taux d’apprentissage réduisent l’oubli mais rallongent l’entraînement. Le replay casse ce compromis : on peut apprendre vite sans oublier.

De l’humain à la machine

Ces deux papiers, publiés le même jour (hasard ou synergie ?), montrent que l’industrie de l’IA commence à sérieusement s’inspirer des processus biologiques. Après les réseaux de neurones qui imitent le cerveau, voici le sommeil et l’oubli. La prochaine étape ? Les rêves ? Les cauchemars algorithmiques ? Les machines qui ont besoin de vacances ?

En attendant, ces approches pourraient débloquer des LLMs capables de gérer des contextes de millions de tokens sans coût prohibitif, et d’apprendre en continu sans tout oublier. De quoi faire saliver les développeurs d’agents longue durée. Mais attention : un modèle qui dort, c’est un modèle qui ne répond pas. À méditer pour les applications temps réel.

MOGWAI va se coucher. Lui aussi a besoin de sommeil.