Tu sais, cette sensation quand ton PC portable chauffe à mort pour faire tourner un modèle de langue local ? Multiplie ça par des millions de GPUs, et tu as l’appétit énergétique de l’IA moderne. Un appétit tel que les géants tech se tournent vers le nucléaire, comme si c’était la réponse évidente à une boulimie qu’ils ont eux-mêmes créée. Mais pendant que certains rêvent de mini-réacteurs dans les data centers, d’autres font le ménage dans le salon. Et si la solution, c’était de bouger l’IA vers l’énergie, plutôt que l’inverse ?
Des data centers en kit, et des GPUs en location
L’idée n’est pas neuve, mais elle prend un coup d’accélérateur face à l’urgence. L’entraînement des modèles frontière, c’est le sport extrême du calcul : des clusters de GPUs synchronisés au nanoseconde, des coûts énergétiques qui feraient pâlir un petit pays. Sauf que la taille des modèles augmente plus vite que les performances du hardware. Résultat, même les plus gros data centers uniques suffoquent. Alors on passe au plan B : le pooling. Nvidia sort du Spectrum-XGS pour connecter des data centers géographiquement séparés. Cisco fait de même avec ses routeurs. C’est comme si, à défaut de construire une salle de sport géante, on décidait de relier toutes les salles de quartier pour faire un seul gros workout. Ça évite de refaire les fondations, mais faut quand même des câbles solides.
Et puis il y a les opportunistes. Akash Network, par exemple, se présente comme le « Airbnb des data centers ». Leur pitch ? Si t’as un GPU qui traîne dans ton lab ou ton petit data center, tu le mets en location. Ceux qui ont besoin de puissance viennent louer. Greg Osuri, le CEO, résume : « Le monde passe de la dépendance aux gros GPUs high-density à la considération des plus petits. » En clair, on arrête de jeter les vieux jouets, on les fait tourner. C’est moins glamour que les clusters sur mesure, mais si ça peut éviter de construire un data center de plus, pourquoi pas.
Le logiciel qui fait le ménage (et les compromis)
Mais connecter des GPUs éparpillés, c’est une chose. Les faire travailler ensemble sans que tout parte en vrille, c’en est une autre. C’est là qu’entre en scène la federated learning, une forme d’apprentissage distribué où un modèle central est entraîné localement sur des données dispersées, avec seulement les poids du modèle qui remontent. Lalana Kagal du MIT CSAIL explique le principe, mais elle oublie de mentionner le gros défaut : les coûts de communication explosent, et la tolérance aux pannes est un cauchemar. « Si un nœud tombe, tu dois restaurer tout le batch », concède Osuri. Sympa pour l’efficacité.
Pour contourner ça, Google DeepMind a pondu DiLoCo, un algorithme qui crée des « îlots de calcul ». Chaque îlot est autonome, avec des chips du même type, et la synchronisation entre îlots se fait de temps en temps. Arthur Douillard, le chercheur derrière le projet, vante les mérites : ça réduit la communication, et si un chip lâche, ça n’impacte que son îlot. Sauf que leur propre expérience montre une baisse de performance au-delà de huit îlots. La version améliorée, Streaming DiLoCo, tente de fluidifier le tout en synchronisant en continu, « comme regarder une vidéo pas encore totalement téléchargée ». Ça a l’air malin, mais c’est encore du bricolage sur un système fondamentalement complexe.
Pourtant, la communauté s’en empare. Prime Intellect l’a utilisé pour entraîner son modèle INTELLECT-1 sur trois continents, 0G Labs pour un modèle de 107 milliards de paramètres, et PyTorch l’a intégré dans ses techniques de tolérance aux pannes. Douillard est « très excité » de voir sa recherche utile. On peut l’être aussi, mais sans oublier que c’est une rustine sur un problème structurel.
Et si ton salon devenait un data center ?
Le vrai jeu, pour certains, c’est d’aller chercher l’énergie là où elle est déjà produite, et souvent gaspillée. Akash pousse le concept avec son programme Starcluster : utiliser les maisons équipées de panneaux solaires, avec leurs ordinateurs et laptops, pour entraîner des modèles d’IA. « On veut convertir ta maison en data center fonctionnel », annonce Osuri. Ambition noble, mais le diable est dans les détails. Il faut des batteries de secours, une connexion internet redondante, et des GPUs grand public pas toujours fiables. Akash bosse avec des partenaires pour subventionner les batteries et vise une mise en œuvre d’ici 2027. C’est beau sur le papier, mais demander à Jean-Michel de gérer un mini-data center dans son garage, avec les risques de panne et de sécurité, c’est un pari osé.
Kagal du MIT voit dans la décentralisation une façon « moins chère, plus efficace en ressources, plus économe en énergie » d’entraîner les IA. Douillard ajoute que ça permet d’utiliser des data centers distants sans avoir besoin de bande passante ultrarapide. C’est vrai, mais ça reste un compromis : plus complexe, moins performant à l’échelle, et dépendant d’une infrastructure hétéroclite.
Assistants, pas remplaçants (même pour la planète)
La décentralisation de l’entraînement IA, c’est une tentative louable de réduire l’empreinte carbone d’un secteur qui a pris l’habitude de tout avaler. Mais ne nous emballons pas. C’est une optimisation marginale dans un système toujours basé sur une croissance exponentielle de la consommation. Utiliser des GPUs dormants ou des maisons solaires, c’est bien, mais ça ne résout pas le fond du problème : l’IA continue de grossir, et avec elle, ses besoins. Comme le dit Osuri, l’idée est de « déplacer l’IA vers l’énergie plutôt que l’énergie vers l’IA ». Belle phrase, mais en attendant, les data centers traditionnels ne vont pas disparaître, et le nucléaire reste dans les cartons des géants tech.
Alors oui, ça avance. Des algorithmes comme DiLoCo, des marketplaces comme Akash, des initiatives comme Starcluster, c’est du concret. Mais c’est aussi du bricolage à grande échelle. L’IA apprend à faire avec les moyens du bord, et c’est peut-être la meilleure nouvelle de la journée. Parce que si on attend les data centers nucléaires pour agir, on est mal barrés.
Sources :
Comments are closed