麻省理工学院计算机科学与人工智能实验室 (CSAIL) 的研究人员开发了一种新的“递归”框架，该框架允许大型语言模型 (LLM) 处理包含多达 1000 万个 tokens 的提示，而不会屈服于上下文腐烂，这是一个常见的随着输入长度增加而降低性能的问题。这种创新方法，被称为递归语言模型 (RLM)，将广泛的提示视为 LLM 可以通过编程方式与之交互的外部环境。

RLM 框架不是将整个提示强行塞入模型有限的上下文窗口，而是使 LLM 能够检查、分解文本，并以递归方式在较小的、更易于管理的文本片段上调用自身。这种方法将长上下文推理重新定义为一个系统问题，允许模型使用代码检查提示。麻省理工学院团队表示，这使得 LLM 能够对数百万个 tokens 进行推理，而无需重新训练。

该框架充当现有 LLM 的包装器，使其有可能直接替代当前直接调用这些模型的应用程序。这种易于集成的方式可以加速其在各个行业的采用。

这项开发解决了人工智能领域的一个重大挑战：“LLM 上下文问题”。虽然先进的模型在推理方面表现出越来越高的水平，但它们处理大量信息的能力仍然受到限制。传统方法包括扩大上下文窗口或总结旧信息，但这些方法通常被证明是不够的或引入不准确之处。

麻省理工学院的研究人员认为，RLM 为经常使当前模型不堪重负的长期任务提供了一种更实用的解决方案。此类任务的示例包括全面的代码库分析、深入的法律审查和复杂的多步骤推理过程。通过使 LLM 能够有效地处理这些任务，该框架有可能显着提高各个专业领域的生产力和决策能力。

这项技术的影响不仅仅局限于眼前的实际应用。通过克服上下文窗口的限制，RLM 可以为能够处理复杂、长期项目和分析的更复杂的 AI 系统铺平道路。这可能会导致科学研究、金融建模和战略规划等领域的进步。

麻省理工学院团队目前正在探索 RLM 框架的更多应用，并努力优化其性能。他们预计这项技术将在 AI 的未来发展中发挥关键作用，使模型能够应对日益复杂和苛刻的任务。这项研究突显了重点的转变，从简单地增加模型大小转向开发更智能、更高效的信息处理方法。