AIアプリケーション開発者のスリニヴァサ・レッディ・フレベードゥ・レッディ氏によると、多くの企業が、大規模言語モデル（LLM）のアプリケーションプログラミングインターフェース（API）の利用料金が、冗長なクエリによって急増していることに気づいているという。レッディ氏は、ユーザーが同じ質問を異なる方法で尋ねることが多く、その結果、LLMがそれぞれのバリエーションを個別に処理し、その都度、APIの全額費用が発生していることを発見した。

レッディ氏がクエリログを分析した結果、ユーザーが同じ質問を異なる言い回しで繰り返し行っていることが明らかになった。例えば、「返品ポリシーは何ですか？」、「返品方法を教えてください？」、「払い戻しは可能ですか？」といった質問は、LLMからほぼ同じ回答を引き出すものの、それぞれが個別のAPIコールをトリガーしていた。

クエリテキストをキャッシュキーとして使用する従来の完全一致キャッシュは、この問題に対処するには効果がないことが判明した。レッディ氏によると、完全一致キャッシュでは、10万件の本番クエリのうち、これらの冗長なコールをわずか18件しか捕捉できなかった。「同じ意味の質問でも、言い回しが異なると、キャッシュを完全にバイパスしてしまう」とレッディ氏は説明した。

この問題に対処するため、レッディ氏はセマンティックキャッシュを実装した。これは、クエリの正確な文言ではなく、意味に基づいて応答をキャッシュする手法である。このアプローチにより、キャッシュヒット率が67%に向上し、LLM APIのコストが73%削減された。セマンティックキャッシュは、ユーザーが同じ質問を複数の方法で言い換えるという根本的な問題に対処する。

セマンティックキャッシュは、LLMのコンテキストにおいて、従来のキャッシュ手法よりも大幅に進歩している。従来のキャッシュは、受信したクエリとキャッシュされたクエリの完全一致に依存している。この方法は実装が簡単だが、人間の言語のニュアンスを捉えることができない。人間の言語では、同じ意図をさまざまな方法で表現できるからだ。一方、セマンティックキャッシュは、埋め込みや類似性メトリクスなどの技術を使用して、新しいクエリが以前にキャッシュされたクエリと意味的に類似しているかどうかを判断する。類似性が事前に定義された閾値を超えた場合、キャッシュされた応答が返され、コストのかかるAPIコールを回避できる。

セマンティックキャッシュの開発は、LLMを効率的かつ費用対効果の高い方法で利用する必要性が高まっていることを浮き彫りにしている。LLMがさまざまなアプリケーションにますます統合されるにつれて、APIコストの管理は企業にとって重要な懸念事項となっている。セマンティックキャッシュは、冗長性を削減し、リソースの使用率を最適化することで、有望なソリューションを提供する。この分野におけるさらなる研究開発は、LLM APIのコストをさらに最小限に抑え、全体的なパフォーマンスを向上させる、より洗練されたキャッシュ戦略につながる可能性がある。