AI的内存正面临瓶颈，威胁着先进的代理系统的未来。在VentureBeat AI Impact Series活动中，WEKA首席技术官Shimon Ben-David和VentureBeat首席执行官Matt Marshall揭示了一个关键瓶颈：GPU内存。目前的GPU缺乏长期运行的AI代理所需的键值（KV）缓存容量。

这个问题于2026年1月15日被发现，导致GPU周期浪费、云成本增加和性能下降。WEKA提出了一个解决方案：“令牌仓储”，这是一种新的内存管理方法。其旨在使AI能够记住并随着时间的推移构建上下文。

内存瓶颈已经影响到生产AI，阻碍了有状态代理AI的扩展。专家认为，必须解决这个问题才能释放AI代理的全部潜力。

现代AI代理依赖于KV缓存来维持运行期间的上下文。GPU内存不足迫使它们重新计算信息，从而造成效率低下。

WEKA的令牌仓储方法可能会彻底改变AI内存管理。预计在未来几个月内将公布更多细节，因为整个行业都在努力应对这一挑战。