Nvidia, 새로운 벡터 데이터베이스로 LLM 비용 8배 절감

Nvidia 연구원들이 대규모 언어 모델(LLM)의 메모리 요구 사항을 획기적으로 줄이는 새로운 기술을 개발하여 기술의 광범위한 채택을 위한 길을 열었습니다. 새로운 방법은 동적 메모리 희소화(DMS)라고 불리며, 키-값(KV) 캐시를 압축하여 보고서에 따르면 정확성을 유지하면서 LLM 비용을 8배 줄입니다.

DMS 기술을 통해 LLM은 정보를 보다 효율적으로 처리하여 속도나 지능을 저하시키지 않고 더 오래 "생각"하고 더 많은 솔루션을 탐색할 수 있습니다. 이는 LLM의 실제 적용 및 기업 채택을 방해해 온 중요한 계산 병목 현상을 해결합니다. 이 혁신은 다양한 애플리케이션을 위한 보다 접근 가능하고 비용 효율적인 LLM 솔루션으로 이어질 수 있습니다.

관련 뉴스에서, 경량 도구의 개발은 AI 기술의 발전을 계속 지원하고 있습니다. "vdb"라는 헤더 전용 C 라이브러리가 GitHub에 출시되었습니다. abdimoallim이 만든 이 라이브러리는 고차원 벡터 임베딩을 저장하고 검색하도록 설계되었습니다. 여러 거리 측정법, 선택적 멀티스레딩 지원 및 사용자 정의 메모리 할당자 지원과 같은 기능을 제공합니다. 이 라이브러리는 단일 파일 구현으로 프로젝트에 쉽게 통합할 수 있습니다.

vdb 라이브러리를 통해 개발자는 유사성 검색 및 추천 시스템과 같은 작업에 중요한 벡터 데이터베이스를 구축할 수 있습니다. 라이브러리의 헤더 전용 특성은 통합을 단순화하고, 선택적 멀티스레딩 기능은 성능을 향상시킬 수 있습니다. 이 라이브러리는 코사인, 유클리드 및 내적 거리 측정법을 지원합니다.

Nvidia의 DMS 기술과 vdb와 같은 도구의 가용성 조합은 AI 기술을 최적화하고 민주화하려는 지속적인 노력을 강조합니다. Nvidia의 DMS는 LLM 실행의 계산 비용을 줄이는 데 중점을 두는 반면, vdb는 많은 AI 애플리케이션의 핵심 구성 요소인 벡터 임베딩을 관리하기 위한 경량 솔루션을 제공합니다.