AIアプリケーション開発者のスリニヴァサ・レッディ・フレベードゥ・レッディ氏によると、多くの企業が、大規模言語モデル（LLM）のアプリケーション・プログラミング・インターフェース（API）の利用料金が、冗長なクエリによって急増していることに気づいているという。レッディ氏は、ユーザーが同じ質問を異なる方法で行うことが多く、LLMがそれぞれのバリエーションを個別に処理し、ほぼ同一の回答に対して全額のAPI料金が発生していることを発見した。

レッディ氏がクエリログを分析した結果、ユーザーが同じ質問を言い換えていることが判明した。例えば、返品ポリシーについて「返品ポリシーは何ですか？」「返品するにはどうすればいいですか？」「払い戻しはできますか？」といった表現を使っていた。クエリテキストをキャッシュキーとして使用する従来の完全一致キャッシュでは、これらの冗長な呼び出しの18％しか捕捉できず、効果がないことが判明した。 「意味的には同じ質問でも、言い方が違うとキャッシュを完全にバイパスしてしまう」とレッディ氏は説明した。

この問題に対処するため、レッディ氏はセマンティックキャッシュを実装した。これは、クエリの正確な文言ではなく、意味に焦点を当てた技術である。セマンティックキャッシュは、ユーザーの質問の背後にある意図を分析し、質問の言い回しに関係なく、キャッシュから適切な応答を取得する。セマンティックキャッシュを実装した後、レッディ氏はキャッシュヒット率が67％に増加し、LLM APIのコストが73％削減されたと報告した。

セマンティックキャッシュは、LLMのコンテキストにおいて、従来のキャッシュ手法よりも大幅に進歩している。従来のキャッシュは、クエリテキストをハッシュキーとして使用し、完全一致に依存している。このアプローチは、ユーザーが質問を言い換えた場合、たとえ根本的な意図が同じであっても失敗する。一方、セマンティックキャッシュは、セマンティック類似性分析や埋め込みモデルなどの技術を使用して、クエリの意味を理解し、キャッシュにすでに保存されている意味的に同等のクエリを識別する。

効果的なセマンティックキャッシュソリューションの開発には、いくつかの課題がある。ナイーブな実装では、言語のニュアンスを正確に捉え、意味の微妙な違いを識別するのに苦労する可能性がある。さらに、キャッシュの精度と関連性を長期にわたって維持するには、LLMの応答の変化やユーザーの進化するニーズを考慮して、継続的な監視と更新が必要となる。

セマンティックキャッシュの影響は、コスト削減にとどまらない。セマンティックキャッシュは、LLMの計算負荷を軽減することで、AIアプリケーションのパフォーマンスとスケーラビリティを向上させることができる。また、リソースのより効率的な使用にも貢献し、持続可能なAI開発を促進するためのより広範な取り組みと一致する。LLMが社会のさまざまな側面にますます統合されるにつれて、セマンティックキャッシュのような技術は、そのパフォーマンスを最適化し、環境への影響を軽減する上で重要な役割を果たすだろう。

レッディ氏は2026年1月10日に調査結果を発表し、セマンティックキャッシュの実装をオープンソース化し、他の開発者がこの技術を採用し、改善することを奨励した。この開発は、これらのモデルがより広く採用されるにつれて、LLMのパフォーマンスを最適化し、コストを削減することに焦点が当てられていることを示している。