Des chercheurs du Laboratoire d'informatique et d'intelligence artificielle (CSAIL) du MIT ont développé un nouveau cadre "récursif" qui permet aux grands modèles linguistiques (LLM) de traiter des invites contenant jusqu'à 10 millions de tokens sans succomber à la dégradation du contexte, un problème courant qui diminue les performances à mesure que la longueur de l'entrée augmente. Cette approche innovante, connue sous le nom de Recursive Language Models (RLM), considère l'invite étendue comme un environnement externe avec lequel le LLM peut interagir de manière programmatique.

Au lieu de forcer l'ensemble de l'invite dans la fenêtre de contexte limitée du modèle, le cadre RLM permet au LLM d'examiner, de décomposer et de s'appeler récursivement sur des extraits de texte plus petits et plus faciles à gérer. Cette méthode recadre le raisonnement de long contexte comme un problème de systèmes, permettant aux modèles d'inspecter les invites avec du code. Selon l'équipe du MIT, cela permet aux LLM de raisonner sur des millions de tokens sans nécessiter de réentraînement.

Le cadre fonctionne comme un wrapper autour des LLM existants, ce qui en fait un remplacement potentiel direct pour les applications qui font actuellement des appels directs à ces modèles. Cette facilité d'intégration pourrait accélérer son adoption dans divers secteurs.

Le développement répond à un défi important dans le domaine de l'intelligence artificielle : le "problème du contexte LLM". Bien que les modèles avancés démontrent une sophistication croissante dans le raisonnement, leur capacité à traiter de grandes quantités d'informations reste limitée. Les approches traditionnelles consistent à élargir les fenêtres de contexte ou à résumer les informations plus anciennes, mais ces méthodes s'avèrent souvent insuffisantes ou introduisent des inexactitudes.

Les chercheurs du MIT soutiennent que les RLM offrent une solution plus pratique pour les tâches de longue haleine qui submergent fréquemment les modèles actuels. Parmi ces tâches, on peut citer l'analyse complète du code, l'examen juridique approfondi et les processus complexes de raisonnement en plusieurs étapes. En permettant aux LLM de traiter efficacement ces tâches, le cadre a le potentiel d'améliorer considérablement la productivité et la prise de décision dans divers domaines professionnels.

Les implications de cette technologie vont au-delà des applications pratiques immédiates. En surmontant les limitations des fenêtres de contexte, les RLM pourraient ouvrir la voie à des systèmes d'IA plus sophistiqués, capables de gérer des projets et des analyses complexes à long terme. Cela pourrait conduire à des avancées dans des domaines tels que la recherche scientifique, la modélisation financière et la planification stratégique.

L'équipe du MIT explore actuellement d'autres applications du cadre RLM et travaille à optimiser ses performances. Elle prévoit que cette technologie jouera un rôle crucial dans le développement futur de l'IA, en permettant aux modèles de s'attaquer à des tâches de plus en plus complexes et exigeantes. La recherche met en évidence un changement d'orientation, qui consiste à ne plus se contenter d'augmenter la taille des modèles, mais à développer des méthodes plus intelligentes et plus efficaces de traitement de l'information.