大量冗余的对大型语言模型 (LLM) 的查询正在推高许多企业的 API 成本，促使人们寻找更高效的缓存解决方案。Sreenivasa Reddy Hulebeedu Reddy 在 2026 年 1 月 10 日撰文详细介绍了他的公司的 LLM API 账单如何以每月 30% 的速度增长，尽管流量并没有以相同的速度增长。对查询日志的分析显示，用户以不同的方式提出相同的问题，导致 LLM 多次处理几乎相同的请求。

Reddy 发现，传统的、精确匹配的缓存（使用查询文本作为缓存键）仅捕获了这些冗余调用的 18%。“你们的退货政策是什么？”，“我如何退货？”和“我可以退款吗？”都会绕过缓存并触发单独的 LLM 调用，每次都会产生全部 API 成本。

为了解决这个问题，Reddy 实施了语义缓存，这是一种侧重于查询含义而不是具体措辞的技术。这种方法将缓存命中率提高到 67%，最终将 LLM API 成本降低了 73%。语义缓存使用诸如自然语言理解之类的技术来确定查询背后的意图，并从缓存中检索相关响应，即使措辞不同。

这一发展突显了在人工智能时代高效资源管理日益增长的重要性。随着 LLM 更多地集成到各种应用程序中，运行它们的成本可能会迅速上升。语义缓存通过减少冗余调用次数和优化 API 使用率，提供了一种潜在的解决方案。

语义缓存的兴起也反映了更复杂的 AI 技术的发展趋势。虽然精确匹配缓存是一种简单直接的方法，但它处理人类语言细微差别的能力有限。另一方面，语义缓存需要更深入地理解查询以及提出查询的上下文。

专家认为，随着 LLM 被用于更复杂和交互式的应用程序中，语义缓存将变得越来越重要。通过降低运行这些模型的成本，语义缓存可以帮助使它们更容易被更广泛的企业和组织所使用。预计未来在该领域的进一步研究和开发将带来更高效和有效的缓存解决方案。