多くの企業が、大規模言語モデル（LLM）APIの利用に対して予想外に高額な請求に直面しており、費用対効果の高いソリューションの模索を促しています。Sreenivasa Reddy Hulebeedu Reddy氏は、最近のクエリログの分析で、LLMコストのかなりの部分が、ユーザーが同じ質問を異なる方法で行うことに起因していることを発見しました。

Reddy氏によると、同社のLLM APIへのトラフィックは増加しているものの、コストは月ごとに30%という持続不可能な速度で増加していました。彼は、ユーザーが「返品ポリシーは何ですか？」、「返品するにはどうすればよいですか？」、「払い戻しを受けることはできますか？」など、意味的に同一のクエリを送信しており、これらはすべてLLMによって個別のリクエストとして処理され、それぞれにAPIの全額費用が発生していると説明しました。

クエリテキストをキャッシュキーとして使用する従来の完全一致キャッシュは、この冗長性に対処するには効果がないことが判明しました。「完全一致キャッシュでは、これらの冗長な呼び出しのうち18件しか捕捉できませんでした」とReddy氏は述べています。「同じ意味の質問でも、言い回しが異なると、キャッシュを完全にバイパスしてしまいます。」

これに対抗するため、Reddy氏はセマンティックキャッシュを実装しました。これは、クエリの正確な文言ではなく、意味に焦点を当てた技術です。このアプローチにより、キャッシュヒット率が大幅に向上し、67%に達し、最終的にLLM APIのコストを73%削減しました。

セマンティックキャッシュは、ユーザーのクエリの背後にある意図を理解することで、完全一致キャッシュの限界に対処します。クエリのテキストを単純に比較するのではなく、セマンティックキャッシュは、埋め込みやセマンティック類似性アルゴリズムなどの技術を使用して、同様の質問がすでに回答されているかどうかを判断します。意味的に類似したクエリがキャッシュに存在する場合、システムはキャッシュされた応答を取得できるため、LLMを再度呼び出す必要がありません。

LLM APIコストの増加は、AIをワークフローに統合する企業にとってますます懸念事項となっています。LLMがより普及するにつれて、その使用を最適化し、コストを削減することが重要になります。セマンティックキャッシュは、この課題に対処するための有望なアプローチの1つですが、Reddy氏が指摘するように、実装を成功させるには、言語とユーザーの行動のニュアンスを慎重に考慮する必要があります。