DeepSeek 对“条件记忆”的研究旨在解决大型语言模型 (LLM) 在访问静态信息时 GPU 计算利用效率低下的问题。这项新发布的研究引入了一个名为 Engram 的模块，旨在将静态模式检索与动态推理分离，从而可能节省大量计算资源。

根据该研究，企业级 LLM 经常使用为复杂推理而设计的昂贵 GPU 计算，仅仅是为了检索产品名称、技术规格或标准合同条款等静态信息。这些查找每天发生数百万次，浪费计算周期并增加基础设施成本。DeepSeek 团队，包括合著者兼创始人梁文锋，致力于优化这一过程。

通过系统性的实验，DeepSeek 确定将 75% 的稀疏模型容量分配给动态推理，25% 分配给静态查找，可以在计算和内存之间实现最佳平衡。结果表明，这种记忆系统对推理能力的提升比知识检索更显著。使用 Big-Bench Hard 测量的复杂推理基准分数从 70% 跃升至 74% 的准确率，而以知识为中心的测试则从 57% 提高到 61%。

这项研究的意义不仅仅在于提高效率。通过优化 LLM 访问和处理信息的方式，DeepSeek 的工作挑战了关于记忆在神经网络中作用的基本假设。Engram 模块允许采用更细致的内存分配方法，从而可能为更高效、更强大的 AI 系统铺平道路。

这项开发成果正值大型语言模型的能源消耗和环境影响受到越来越多的关注之际。通过减少与静态信息检索相关的计算开销，DeepSeek 的条件记忆方法可能有助于更可持续的 AI 开发。还需要进一步的研究来探索 Engram 在不同 LLM 架构和应用中的可扩展性和通用性。