La recherche de DeepSeek sur la "mémoire conditionnelle" vise à résoudre le problème de l'utilisation inefficace du calcul GPU dans les grands modèles de langage (LLM) lors de l'accès à des informations statiques. La nouvelle étude présente un module appelé Engram, conçu pour séparer la récupération de motifs statiques du raisonnement dynamique, ce qui pourrait permettre d'économiser des ressources de calcul considérables.

Selon la recherche, les LLM d'entreprise utilisent fréquemment un calcul GPU coûteux, conçu pour un raisonnement complexe, afin de simplement récupérer des informations statiques telles que des noms de produits, des spécifications techniques ou des clauses contractuelles standard. Ces recherches se produisent des millions de fois par jour, gaspillant des cycles de calcul et gonflant les coûts d'infrastructure. L'équipe de DeepSeek, dont le co-auteur et fondateur Liang Wenfeng, a cherché à optimiser ce processus.

Grâce à une expérimentation systématique, DeepSeek a déterminé que l'allocation de 75 % de la capacité du modèle sparse au raisonnement dynamique et de 25 % aux recherches statiques offrait l'équilibre optimal entre le calcul et la mémoire. Les résultats ont indiqué que ce système de mémoire améliorait les capacités de raisonnement de manière plus significative que la récupération de connaissances. Les scores de référence de raisonnement complexe, mesurés à l'aide de Big-Bench Hard, ont augmenté de 70 % à 74 % de précision, tandis que les tests axés sur les connaissances se sont améliorés de 57 % à 61 %.

Les implications de cette recherche vont au-delà des simples gains d'efficacité. En optimisant la façon dont les LLM accèdent aux informations et les traitent, le travail de DeepSeek remet en question les hypothèses fondamentales sur le rôle de la mémoire dans les réseaux neuronaux. Le module Engram permet une approche plus nuancée de l'allocation de la mémoire, ouvrant potentiellement la voie à des systèmes d'IA plus efficaces et plus puissants.

Ce développement intervient à un moment où la consommation d'énergie et l'impact environnemental des grands modèles de langage sont de plus en plus surveillés. En réduisant la surcharge de calcul associée à la récupération d'informations statiques, l'approche de la mémoire conditionnelle de DeepSeek pourrait contribuer à un développement de l'IA plus durable. Des recherches supplémentaires sont nécessaires pour explorer l'évolutivité et la généralisabilité d'Engram à travers différentes architectures et applications de LLM.