据 Sreenivasa Reddy Hulebeedu Reddy 称，通过实施语义缓存，可以显著降低大型语言模型 (LLM) API 的成本。他发现，尽管流量增长速度并未达到相同水平，但他所在公司的 LLM API 账单却以每月 30% 的速度增长。Reddy 发现，用户以不同的方式提出相同的问题，导致对 LLM 的冗余调用，从而产生了不必要的 API 成本。

Reddy 对查询日志的分析显示，用户经常用不同的措辞提出相同的问题。例如，“你们的退货政策是什么？”、“我如何退货？”和“我可以退款吗？”等查询都从 LLM 得到了几乎相同的响应，但每个查询都是单独处理的，产生了全部 API 成本。

传统的精确匹配缓存（使用查询文本作为缓存键）被证明无法有效解决这个问题。“精确匹配缓存仅捕获了这些冗余调用的 18%，”Reddy 表示。“相同的语义问题，用不同的措辞表达，完全绕过了缓存。”

为了克服这一限制，Reddy 实施了语义缓存，该缓存侧重于查询的含义，而不是其确切的措辞。这种方法将缓存命中率提高到 67%，从而使 LLM API 成本降低了 73%。语义缓存识别具有相似含义的查询，并从缓存中检索相应的响应，从而避免了对 LLM 的冗余调用。

这一进展突显了理解用户行为和优化缓存策略以有效管理 LLM API 成本的重要性。随着 LLM 越来越多地集成到各种应用程序中，语义缓存为寻求在不影响服务质量的前提下降低支出的组织提供了一个有价值的解决方案。