许多公司发现，他们用于大型语言模型（LLM）应用程序编程接口（API）的账单意外飙升，这促使他们寻找具有成本效益的解决方案。Sreenivasa Reddy Hulebeedu Reddy 在最近对查询日志的分析中发现，LLM API 成本的很大一部分源于用户以不同的方式提出相同的问题。

Reddy 发现，虽然他的 LLM 应用程序的流量在增加，但 API 账单却以每月 30% 的不可持续速度增长。他解释说，用户提交了语义上相同的查询，例如“你们的退货政策是什么？”、“我如何退货？”以及“我可以获得退款吗？”，这些查询都被 LLM 作为唯一请求处理，每次都会产生全部 API 成本。

传统的精确匹配缓存使用查询文本作为缓存键，事实证明，这种方法在解决这种冗余问题上效果不佳。Reddy 表示：“精确匹配缓存仅捕获了 18 个此类冗余调用。相同的语义问题，以不同的方式表达，完全绕过了缓存。”

为了解决这个问题，Reddy 实施了语义缓存，这是一种侧重于查询含义而非其确切措辞的技术。这种方法显着提高了缓存命中率，达到 67%，并最终将 LLM API 成本降低了 73%。语义缓存识别并存储对语义相似查询的响应，从而使系统能够检索缓存的响应，而不是再次查询 LLM。

挑战在于准确确定查询之间的语义相似性。简单的实现通常无法捕捉到语言和用户意图的细微差别。为了克服这些限制，采用了诸如嵌入模型和相似性度量等高级技术。

语义缓存的意义不仅限于节省成本。通过减少 API 调用次数，它还可以提高 LLM 应用程序的性能和响应能力。此外，它还有助于更有效地利用计算资源，从而符合可持续发展目标。

随着 LLM 越来越多地集成到各种应用程序中，从客户服务聊天机器人到内容生成工具，对语义缓存等高效成本管理策略的需求将继续增长。语义缓存技术的开发和改进是人工智能领域持续的研究和开发领域。