Nvidia、ベクトルデータベースでLLMコストを8分の1に削減！

Nvidiaの研究者らは、新しいベクトルデータベースライブラリ「vdb」と、Dynamic Memory Sparsification（DMS）と呼ばれる技術を開発しました。複数の報道によると、これらを組み合わせることで、大規模言語モデル（LLM）のコストを最大8分の1に削減できる可能性があります。この革新は、LLM内の複雑なデータの処理におけるメモリの制限に対処し、効率を向上させることを目的としています。

vdbライブラリは、高次元ベクトル埋め込みを効率的に保存および検索するために設計された、軽量でヘッダーオンリーのCライブラリです。複数の距離メトリック（コサイン、ユークリッド、ドット積）、オプションのマルチスレッドサポート、およびデータベースをディスクに保存およびロードする機能などの機能を提供します。このライブラリには、マルチスレッドが有効になっている場合のpthreadsを除き、依存関係はありません。Pythonバインディングも利用できます。「vdbは、高次元ベクトル埋め込みを効率的に保存および検索するための軽量Cライブラリです」と、ある情報源は述べています。

同時に、Nvidiaの研究者らは、大規模言語モデルのキーバリュー（KV）キャッシュを圧縮する技術であるDynamic Memory Sparsification（DMS）を開発しました。この圧縮により、LLMは速度を犠牲にすることなく、より多くの情報を処理できます。KVキャッシュはLLMの重要なコンポーネントであり、モデルの過去のインタラクションに関する情報を保存します。このキャッシュを圧縮することにより、モデルのメモリフットプリントを大幅に削減できます。

DMSとvdbの組み合わせは、大規模言語モデルの実行に関連する効率を向上させ、コストを削減するための包括的なソリューションを提供します。vdbの開発は、ベクトル埋め込みを処理するための合理化された方法を提供し、DMSは、LLMのパフォーマンスを制限することが多いメモリ制約に対処します。「これらの革新は、大規模言語モデルのメモリ制限に対処し、複雑なデータの処理における効率を向上させます」と、ある情報源は述べています。

コスト削減がどのように達成されるのか、具体的なパフォーマンスの向上がどの程度なのか、正確な詳細はまだ完全には明らかになっていません。しかし、報告されている8分の1のコスト削減は、LLM開発分野における大きな進歩を示唆しています。これらの新しい技術の影響を完全に理解するために、さらなる研究とテストが行われる可能性が高いでしょう。