MIT 컴퓨터 과학 및 인공지능 연구소(CSAIL)의 연구진은 대규모 언어 모델(LLM)이 최대 1천만 개의 토큰을 포함하는 프롬프트를 처리할 수 있도록 하는 새로운 "재귀적" 프레임워크를 개발했습니다. 이 프레임워크는 입력 길이가 증가함에 따라 성능이 저하되는 일반적인 문제인 컨텍스트 손상에 굴복하지 않습니다. 재귀적 언어 모델(RLM)로 알려진 이 혁신적인 접근 방식은 광범위한 프롬프트를 LLM이 프로그래밍 방식으로 상호 작용할 수 있는 외부 환경으로 취급합니다.

RLM 프레임워크는 전체 프롬프트를 모델의 제한된 컨텍스트 창에 강제로 넣는 대신 LLM이 텍스트의 더 작고 관리하기 쉬운 스니펫을 검사, 분해하고 재귀적으로 호출할 수 있도록 합니다. 이 방법은 긴 컨텍스트 추론을 시스템 문제로 재구성하여 모델이 코드를 사용하여 프롬프트를 검사할 수 있도록 합니다. MIT 연구팀에 따르면 이를 통해 LLM은 재학습 없이 수백만 개의 토큰에 대해 추론할 수 있습니다.

이 프레임워크는 기존 LLM을 감싸는 래퍼 역할을 하므로 현재 이러한 모델을 직접 호출하는 애플리케이션을 대체할 수 있는 잠재력이 있습니다. 이러한 용이한 통합은 다양한 산업 분야에서 채택을 가속화할 수 있습니다.

이번 개발은 인공지능 분야의 중요한 과제인 "LLM 컨텍스트 문제"를 해결합니다. 고급 모델은 추론에서 점점 더 정교함을 보여주지만 방대한 양의 정보를 처리하는 능력은 여전히 제한적입니다. 기존 접근 방식에는 컨텍스트 창을 확장하거나 이전 정보를 요약하는 것이 포함되지만 이러한 방법은 종종 불충분하거나 부정확성을 유발합니다.

MIT 연구진은 RLM이 현재 모델을 압도하는 장기적인 작업에 대한 보다 실용적인 솔루션을 제공한다고 주장합니다. 이러한 작업의 예로는 포괄적인 코드베이스 분석, 심층적인 법률 검토 및 복잡한 다단계 추론 프로세스가 있습니다. LLM이 이러한 작업을 효과적으로 처리할 수 있도록 함으로써 이 프레임워크는 다양한 전문 분야에서 생산성과 의사 결정을 크게 향상시킬 수 있는 잠재력을 가지고 있습니다.

이 기술의 의미는 즉각적인 실제 적용을 넘어 확장됩니다. 컨텍스트 창의 한계를 극복함으로써 RLM은 복잡하고 장기적인 프로젝트와 분석을 처리할 수 있는 보다 정교한 AI 시스템을 위한 길을 열 수 있습니다. 이는 과학 연구, 금융 모델링 및 전략 계획과 같은 분야의 발전을 이끌 수 있습니다.

MIT 연구팀은 현재 RLM 프레임워크의 추가 응용 분야를 탐색하고 성능을 최적화하기 위해 노력하고 있습니다. 그들은 이 기술이 AI의 미래 발전에 중요한 역할을 하여 모델이 점점 더 복잡하고 까다로운 작업을 해결할 수 있도록 할 것으로 예상합니다. 이 연구는 단순히 모델 크기를 늘리는 것에서 정보를 처리하는 보다 지능적이고 효율적인 방법을 개발하는 것으로 초점을 전환하는 것을 강조합니다.