많은 기업들이 대규모 언어 모델(LLM) 애플리케이션 프로그래밍 인터페이스(API) 비용이 예상치 못하게 급증하는 것을 목격하면서 비용 효율적인 솔루션 모색에 나섰습니다. Sreenivasa Reddy Hulebeedu Reddy는 최근 쿼리 로그 분석에서 LLM API 비용의 상당 부분이 사용자들이 동일한 질문을 다른 방식으로 묻는 데서 비롯된다는 사실을 발견했습니다.

Reddy는 자신의 LLM 애플리케이션 트래픽이 증가하는 동안 API 비용은 매달 30%씩 지속 불가능한 속도로 증가하고 있다고 밝혔습니다. 그는 사용자들이 "반품 정책이 무엇인가요?", "반품은 어떻게 하나요?", "환불받을 수 있나요?"와 같이 의미적으로 동일한 쿼리를 제출하고 있으며, 이 쿼리들이 모두 LLM에 의해 고유한 요청으로 처리되어 각각 전체 API 비용이 발생한다고 설명했습니다.

쿼리 텍스트를 캐시 키로 사용하는 기존의 정확히 일치하는 캐싱은 이러한 중복성을 해결하는 데 효과적이지 않았습니다. Reddy는 "정확히 일치하는 캐싱은 이러한 중복 호출 중 18개만 포착했습니다."라며 "동일한 의미의 질문이 다르게 표현되면 캐시를 완전히 우회했습니다."라고 말했습니다.

이를 해결하기 위해 Reddy는 쿼리의 정확한 문구보다는 의미에 초점을 맞춘 시맨틱 캐싱을 구현했습니다. 이 접근 방식은 캐시 적중률을 67%까지 크게 향상시키고 궁극적으로 LLM API 비용을 73% 절감했습니다. 시맨틱 캐싱은 의미적으로 유사한 쿼리에 대한 응답을 식별하고 저장하여 시스템이 LLM에 다시 쿼리하는 대신 캐시된 응답을 검색할 수 있도록 합니다.

어려운 점은 쿼리 간의 의미적 유사성을 정확하게 판단하는 데 있습니다. 순진한 구현은 종종 언어와 사용자 의도의 뉘앙스를 포착하는 데 실패합니다. 임베딩 모델 및 유사성 메트릭과 같은 고급 기술이 이러한 제한 사항을 극복하는 데 사용됩니다.

시맨틱 캐싱의 영향은 비용 절감을 넘어섭니다. API 호출 수를 줄임으로써 LLM 애플리케이션의 성능과 응답성을 향상시킬 수도 있습니다. 또한 컴퓨팅 리소스의 보다 효율적인 활용에 기여하여 지속 가능성 목표에 부합합니다.

LLM이 고객 서비스 챗봇에서 콘텐츠 생성 도구에 이르기까지 다양한 애플리케이션에 점점 더 많이 통합됨에 따라 시맨틱 캐싱과 같은 효율적인 비용 관리 전략의 필요성은 계속 증가할 것입니다. 시맨틱 캐싱 기술의 개발 및 개선은 인공 지능 분야에서 진행 중인 연구 및 개발 영역입니다.