据 Sreenivasa Reddy Hulebeedu Reddy 称，通过实施语义缓存，可以显著降低大型语言模型 (LLM) API 的成本。Reddy 是一位机器学习专家，他最近通过这种方法将公司的 LLM 支出降低了 73%。Reddy 观察到，尽管流量增长速度并未达到相同水平，但公司 LLM API 的账单却环比增长了 30%。对查询日志的分析显示，用户以不同的方式提出相同的问题，导致对 LLM 的冗余调用。

Reddy 发现，用户使用不同的措辞提出语义上相同的问题。例如，“你们的退货政策是什么？”、“我如何退货？”和“我可以退款吗？”等查询都会触发对 LLM 的单独调用，每次都会生成几乎相同的响应，并产生全部 API 成本。传统的、精确匹配的缓存（使用查询文本作为缓存键）被证明是无效的，仅捕获了 18% 的此类冗余调用。

为了解决这个问题，Reddy 实施了语义缓存，该缓存侧重于查询的含义，而不是其确切的措辞。这种方法将缓存命中率提高到 67%，从而使 LLM API 成本降低了 73%。“用户不会以完全相同的方式提出问题，”Reddy 解释说，强调了精确匹配缓存的局限性。他分析了 10 万个生产查询，以了解问题的严重程度。

语义缓存代表了从传统缓存方法的一种转变，它采用各种技术来理解查询的潜在含义。语义缓存不是简单地比较查询的文本，而是利用自然语言处理 (NLP) 和机器学习模型来识别问题的意图和上下文。这使得系统能够识别出“你们的退货政策是什么？”和“我如何退货？”本质上是在问同一件事。

语义缓存的意义不仅限于节省成本。通过减少对 LLM API 的调用次数，它还可以缩短响应时间并减少系统的整体负载。这对于处理大量用户查询的应用程序尤其重要。此外，语义缓存有助于更有效地利用计算资源，从而与科技行业更广泛的可持续发展目标保持一致。

有效语义缓存系统的开发需要仔细考虑几个因素，包括 NLP 模型的选择、缓存键的设计以及处理模糊或复杂查询的策略。虽然 Reddy 的经验证明了语义缓存的潜在好处，但他还指出，要获得最佳结果，需要解决一些简单的实现方式会忽略的问题。具体的挑战和解决方案将因应用程序和用户查询的特征而异。