大規模言語モデル（LLM）のAPIコストは、セマンティックキャッシングを実装することで大幅に削減できる可能性があると、Sreenivasa Reddy Hulebeedu Reddy氏は述べています。同氏によれば、彼の会社のLLM APIの請求額は毎月30%ずつ増加していました。Reddy氏は、ユーザーが同じ質問を異なる方法で尋ねているため、LLMへの冗長な呼び出しが発生し、コストが膨らんでいることを発見しました。

Reddy氏がクエリログを分析した結果、ユーザーが同じ質問を頻繁に言い換えていることが明らかになりました。たとえば、「返品ポリシーは何ですか？」、「返品するにはどうすればよいですか？」、「払い戻しを受けることはできますか？」といったクエリは、すべてLLMからほぼ同じ応答を引き出しますが、それぞれ個別のAPIコストが発生していました。

クエリテキストをキャッシュキーとして使用する従来の完全一致キャッシングは、この問題に対処するには効果的ではありませんでした。「完全一致キャッシングでは、これらの冗長な呼び出しのわずか18%しか捕捉できませんでした」とReddy氏は述べています。「同じ意味の質問でも、言い回しが異なると、キャッシュを完全にバイパスしてしまいます。」

この制限を克服するために、Reddy氏はセマンティックキャッシングを実装しました。これは、クエリの正確な文言ではなく、意味に焦点を当てたものです。このアプローチにより、キャッシュヒット率が67%に向上し、LLM APIコストが73%削減されました。セマンティックキャッシングは、類似した意味を持つクエリを識別し、対応する応答をキャッシュから取得することで、LLMへの不要な呼び出しを回避します。

この開発は、LLMを利用する組織の間で高まっている懸念、つまりAPI使用に関連するコストの増大を管理することに焦点を当てています。LLMがさまざまなアプリケーションに統合されるにつれて、その効率を最適化し、費用を削減することが重要になります。セマンティックキャッシングは、そのような最適化戦略の1つです。

セマンティックキャッシングは大きなメリットをもたらしますが、効果的に実装するには慎重な検討が必要です。ナイーブな実装では、ユーザーのクエリの微妙なニュアンスを見逃し、不正確なキャッシュヒットや潜在的に誤った応答につながる可能性があります。

LLMの台頭は、キャッシュ技術の革新を促し、単純なテキストベースのマッチングから、ユーザー入力の根本的な意味を理解する、より高度な方法へと移行しています。この変化は、AI開発におけるより広範なトレンドを反映しており、アルゴリズムは人間の言語を理解し、解釈することにますます長けてきています。セマンティックキャッシングの開発は、AIインフラストラクチャをより効率的かつ費用対効果の高いものにするための、より大きなトレンドの一部です。LLMが進化し、より広く採用されるにつれて、セマンティックキャッシングのような技術は、関連するコストを管理する上でますます重要な役割を果たすでしょう。