AI的内存正面临瓶颈，威胁着高级代理系统的未来。在VentureBeat AI Impact Series活动中，WEKA首席技术官Shimon Ben-David和VentureBeat首席执行官Matt Marshall揭示了一个关键瓶颈：GPU缺乏足够的内存来支持键值（KV）缓存，而这对于AI代理维持上下文至关重要。这种限制导致处理能力浪费、云成本增加和性能下降。

这个问题已经影响到生产环境，尽管通常未被意识到。在2026年1月15日，Ben-David和Marshall讨论了WEKA提出的解决方案：令牌仓储，一种新的内存管理方法。该方法旨在重新思考AI系统如何处理和访问信息。

内存瓶颈直接影响有状态AI的可扩展性。如果没有足够的内存，AI代理将难以学习和建立在过去的经验之上。令牌仓储有可能解锁更复杂的AI应用。

当前的GPU架构难以跟上长期运行的AI代理的需求。该行业现在正在积极寻求优化内存使用的方法。

WEKA计划进一步开发和完善令牌仓储。业界将密切关注，看看这种方法是否真的能突破AI的内存墙。