AI 애플리케이션 개발자인 Sreenivasa Reddy Hulebeedu Reddy에 따르면 많은 기업들이 중복된 쿼리로 인해 대규모 언어 모델(LLM) 애플리케이션 프로그래밍 인터페이스(API) 비용이 폭발적으로 증가하는 것을 목격하고 있습니다. Reddy는 사용자들이 종종 동일한 질문을 다른 방식으로 하여 LLM이 각 변형을 개별적으로 처리하고 거의 동일한 응답에 대해 전체 API 비용을 발생시킨다는 것을 발견했습니다.

Reddy의 쿼리 로그 분석 결과, 사용자들이 "반품 정책이 무엇인가요?", "반품은 어떻게 하나요?", "환불받을 수 있나요?"와 같은 문구를 사용하여 반품 정책에 대해 질문하는 등 동일한 질문을 바꿔서 하고 있었습니다. 쿼리 텍스트를 캐시 키로 사용하는 기존의 정확히 일치하는 캐싱은 이러한 중복 호출의 18%만 잡아내는 데 그쳐 비효율적인 것으로 드러났습니다. Reddy는 "동일한 의미의 질문이 다르게 표현되면 캐시를 완전히 우회했습니다."라고 설명했습니다.

이 문제를 해결하기 위해 Reddy는 쿼리의 정확한 표현보다는 의미에 초점을 맞춘 기술인 시맨틱 캐싱을 구현했습니다. 시맨틱 캐싱은 사용자 질문의 의도를 분석하고 질문이 어떻게 표현되든 상관없이 캐시에서 적절한 응답을 검색합니다. 시맨틱 캐싱을 구현한 후 Reddy는 캐시 적중률이 67%로 증가하여 LLM API 비용이 73% 절감되었다고 보고했습니다.

시맨틱 캐싱은 LLM 환경에서 기존 캐싱 방법보다 훨씬 발전된 기술입니다. 기존 캐싱은 쿼리 텍스트를 해시 키로 사용하여 정확한 일치에 의존합니다. 이 접근 방식은 사용자가 질문의 기본 의도가 동일하더라도 질문을 바꿔서 할 경우 실패합니다. 반면에 시맨틱 캐싱은 시맨틱 유사성 분석 또는 임베딩 모델과 같은 기술을 사용하여 쿼리의 의미를 이해하고 캐시에 이미 저장된 의미적으로 동일한 쿼리를 식별합니다.

효과적인 시맨틱 캐싱 솔루션을 개발하려면 몇 가지 과제를 해결해야 합니다. 순진한 구현은 언어의 뉘앙스를 정확하게 포착하고 의미의 미묘한 차이를 식별하는 데 어려움을 겪을 수 있습니다. 또한 캐시의 정확성과 관련성을 시간이 지남에 따라 유지하려면 LLM 응답의 변경 사항이나 사용자의 진화하는 요구 사항을 고려하여 지속적인 모니터링 및 업데이트가 필요합니다.

시맨틱 캐싱의 의미는 비용 절감을 넘어섭니다. 시맨틱 캐싱은 LLM의 계산 부하를 줄임으로써 AI 애플리케이션의 성능과 확장성을 향상시킬 수 있습니다. 또한 보다 지속 가능한 AI 개발을 촉진하기 위한 광범위한 노력과 함께 리소스의 보다 효율적인 사용에 기여합니다. LLM이 사회의 다양한 측면에 점점 더 통합됨에 따라 시맨틱 캐싱과 같은 기술은 성능을 최적화하고 환경에 미치는 영향을 줄이는 데 중요한 역할을 할 것입니다.

Reddy는 2026년 1월 10일에 자신의 연구 결과를 발표하고 시맨틱 캐싱 구현을 오픈 소스로 공개하여 다른 개발자들이 이 기술을 채택하고 개선하도록 장려했습니다. 이러한 개발은 LLM이 널리 채택됨에 따라 LLM 성능을 최적화하고 비용을 절감하는 데 점점 더 초점을 맞추고 있음을 시사합니다.