据人工智能应用开发者Sreenivasa Reddy Hulebeedu Reddy称，许多公司发现，由于冗余查询，他们的大型语言模型（LLM）应用程序编程接口（API）费用正在激增。Reddy发现，用户经常以不同的方式提出相同的问题，导致LLM分别处理每个变体，并为每个变体产生全部API费用。

Reddy对查询日志的分析显示，用户反复使用不同的措辞提出相同的问题。例如，“你们的退货政策是什么？”、“我如何退货？”和“我可以退款吗？”等问题都从LLM那里得到了几乎相同的回答，但每个问题都触发了一个单独的API调用。

传统的、精确匹配的缓存，使用查询文本作为缓存键，被证明在解决这个问题上是无效的。Reddy发现，在10万个生产查询中，精确匹配缓存仅捕获了18个此类冗余调用。Reddy解释说：“同一个语义问题，用不同的方式表达，完全绕过了缓存。”

为了解决这个问题，Reddy实施了语义缓存，这是一种基于查询的含义而不是确切措辞来缓存响应的技术。这种方法将缓存命中率提高到67%，从而使LLM API成本降低了73%。语义缓存解决了用户以多种方式表达相同问题的核心问题。

在LLM的背景下，语义缓存代表了对传统缓存方法的重大改进。传统缓存依赖于传入查询和缓存查询之间的精确匹配。这种方法实现起来很简单，但无法捕捉人类语言的细微差别，即相同的意图可以用多种方式表达。另一方面，语义缓存采用嵌入和相似性度量等技术来确定新查询在语义上是否与先前缓存的查询相似。如果相似度超过预定义的阈值，则返回缓存的响应，从而避免了昂贵的API调用。

语义缓存的开发突显了对利用LLM的有效且经济高效的方法日益增长的需求。随着LLM越来越多地集成到各种应用程序中，管理API成本成为企业面临的关键问题。语义缓存通过减少冗余和优化资源利用率提供了一个有希望的解决方案。该领域的进一步研究和开发可能会带来更复杂的缓存策略，从而进一步降低LLM API成本并提高整体性能。