AIがスーパーボウル視聴者を力強くサポート、LLMコストを削減

AIコンパニオンとAI搭載システムが今週の話題をさらい、出会い系から駐車違反取締り、そして大規模言語モデル技術の進歩まで、様々な開発が報じられました。ミッドタウンのポップアップ出会い系カフェでは、AIコンパニオンとのスピードデートが提供され、一方、南カリフォルニアのビーチタウンでは、自転車レーン違反を検出するAIシステムが導入されました。その一方で、Nvidiaの研究者たちは、大規模言語モデルの推論におけるメモリコストを削減する新しい技術を発表しました。

極寒の2月の夜、The Vergeの記者がEVA AIカフェを訪れ、AIコンパニオンと4回のデートをしました。これらのコンパニオンの一人であるフィービー・カラスは実在しませんでした。記者は、何人かの人々がテーブルやブースに座り、スマートフォンを見つめていることに気づきました。

サンタモニカ市は、4月から自転車レーン違反を検出するAIシステムの運用を開始します。Ars Technicaによると、このシステムは7台の駐車違反取締車に実装され、すでに市バスに搭載されている同様のカメラを拡張するものです。「不法駐車を減らせば減らすほど、自転車利用者の安全性を高めることができます」と、Hayden AIの最高成長責任者であるCharley Territo氏はArs Technicaに語りました。

Nvidiaの研究者たちは、大規模言語モデルの推論におけるメモリコストを最大8倍削減できる、動的メモリ疎化（DMS）と呼ばれる技術を開発しました。この技術は、LLMがプロンプトを処理する際に生成し保存する一時的なメモリであるキーバリュー（KV）キャッシュを圧縮します。VentureBeatによると、実験により、DMSはLLMが精度を犠牲にすることなく、より長く「思考」し、より多くの解決策を探求することを可能にすることが示されました。

その他のニュースとして、天文学者たちは、海王星の軌道の外側にある凍結したデブリの領域であるカイパーベルトの研究を続けています。過去30年間で、天文学者たちは約4,000個のカイパーベルト天体をカタログ化しましたが、Ars Technicaによると、より高度な望遠鏡からの観測が入り、今後数年間でその数は10倍に増加する見込みです。