据 Sreenivasa Reddy Hulebeedu Reddy 称，通过实施语义缓存，可以显著降低大型语言模型 (LLM) API 的成本。他发现其公司的 LLM API 账单每月增长 30%。Reddy 发现，用户以不同的方式提出相同的问题，导致对 LLM 的冗余调用，从而抬高了成本。

Reddy 对查询日志的分析显示，用户经常用不同的措辞重复相同的问题。例如，“你们的退货政策是什么？”、“我如何退货？”和“我可以退款吗？”等查询都从 LLM 获得了几乎相同的响应，但每次查询都会产生单独的 API 成本。

传统的精确匹配缓存使用查询文本作为缓存键，事实证明，这种方法无法有效解决此问题。Reddy 表示：“精确匹配缓存仅捕获了 18% 的此类冗余调用。同一个语义问题，用不同的措辞表达，完全绕过了缓存。”

为了克服这一限制，Reddy 实施了语义缓存，该缓存侧重于查询的含义，而不是其确切措辞。这种方法将缓存命中率提高到 67%，从而使 LLM API 成本降低了 73%。语义缓存识别具有相似含义的查询，并从缓存中检索相应的响应，从而避免了对 LLM 的不必要调用。

这一进展突显了各组织在使用 LLM 时日益增长的担忧：管理与 API 使用相关的不断上涨的成本。随着 LLM 越来越多地集成到各种应用程序中，优化其效率和降低费用变得至关重要。语义缓存代表了这样一种优化策略。

虽然语义缓存提供了显著的好处，但要有效地实施它需要仔细考虑。简单的实现可能会忽略用户查询中的细微差别，从而导致不准确的缓存命中和潜在的错误响应。

LLM 的兴起推动了缓存技术的创新，从简单的基于文本的匹配发展到更复杂的方法，这些方法可以理解用户输入的潜在含义。这种转变反映了人工智能发展的一个更广泛的趋势，即算法越来越擅长理解和解释人类语言。语义缓存的开发是优化 AI 基础设施，使其更高效且更具成本效益的更大趋势的一部分。随着 LLM 的不断发展并被更广泛地采用，像语义缓存这样的技术将在管理其相关成本方面发挥越来越重要的作用。