La mémoire de l'IA atteint ses limites, menaçant l'avenir des systèmes agentiques avancés. Lors d'un événement VentureBeat AI Impact Series, Shimon Ben-David, CTO de WEKA, et Matt Marshall, PDG de VentureBeat, ont révélé un goulot d'étranglement critique : les GPU manquent de mémoire suffisante pour les caches Clé-Valeur (KV), essentiels pour que les agents d'IA maintiennent le contexte. Cette limitation entraîne un gaspillage de puissance de traitement, une augmentation des coûts du cloud et une réduction des performances.

Le problème a déjà un impact sur les environnements de production, bien que souvent méconnu. Le 15 janvier 2026, Ben-David et Marshall ont discuté de la solution proposée par WEKA : le stockage de tokens (token warehousing), une nouvelle approche de la gestion de la mémoire. Cette méthode vise à repenser la façon dont les systèmes d'IA traitent et accèdent à l'information.

Le goulot d'étranglement de la mémoire a un impact direct sur l'évolutivité de l'IA à états. Sans mémoire suffisante, les agents d'IA ont du mal à apprendre et à s'appuyer sur les expériences passées. Le stockage de tokens pourrait potentiellement débloquer des applications d'IA plus sophistiquées.

L'architecture GPU actuelle a du mal à suivre les exigences des agents d'IA à longue durée de fonctionnement. L'industrie recherche activement des solutions pour optimiser l'utilisation de la mémoire.

WEKA prévoit de développer et d'affiner davantage le stockage de tokens. L'industrie observera attentivement pour voir si cette approche peut véritablement percer le mur de la mémoire de l'IA.