多くの企業が、大規模言語モデル（LLM）のアプリケーションプログラミングインターフェース（API）の利用料金の高騰に直面しており、費用対効果の高いソリューションが求められています。Srinivas Reddy Hulebeedu Reddy氏は、最近の分析で、これらのコストの大部分は、ユーザーが同じ質問を異なる方法で行うことに起因すると指摘しました。
Reddy氏は、トラフィックが同じ割合で増加していないにもかかわらず、同社のLLM API利用料金が月ごとに30％増加していることを確認しました。クエリログを分析した結果、ユーザーが意味的に同一の質問を、さまざまな言い回しでしていることが明らかになりました。たとえば、「返品ポリシーは何ですか？」、「返品するにはどうすればよいですか？」、「払い戻しを受けることはできますか？」などのクエリは、すべてLLMへの個別の呼び出しをトリガーし、それぞれがAPIの全額費用を発生させていました。
クエリテキストをキャッシュキーとして使用する従来の完全一致キャッシュは、この問題に対処するには効果的ではありませんでした。Reddy氏によると、完全一致キャッシュでは、これらの冗長な呼び出しのうち18件しか捕捉できず、わずかな言い回しの違いによってキャッシュが完全にバイパスされていました。
これに対抗するため、Reddy氏はセマンティックキャッシュを実装しました。これは、クエリの正確な文言ではなく、意味に焦点を当てた手法です。このアプローチにより、キャッシュヒット率が67％に向上し、LLM APIのコストが73％削減されました。セマンティックキャッシュは、クエリの根本的な意図を識別し、言い回しが異なっていても、キャッシュから対応する応答を取得します。
LLM APIのコスト上昇は、AIをワークフローに統合する企業にとって、ますます懸念事項となっています。LLMが普及するにつれて、APIの使用状況を最適化することは、コスト効率を維持するために不可欠です。セマンティックキャッシュは有望なソリューションですが、その実装を成功させるには、言語とユーザーの行動のニュアンスを慎重に考慮する必要があります。Reddy氏は、ナイーブな実装では、問題の重要な側面を見逃すことが多いと指摘しました。セマンティックキャッシュ技術のさらなる研究開発は、将来のLLMコスト管理において重要な役割を果たすと予想されます。
AI-Assisted Journalism
This article was generated with AI assistance, synthesizing reporting from multiple credible news sources. Our editorial team reviews AI-generated content for accuracy.
Deep insights powered by AI
Continue exploring
ミネアポリスで、ICE（移民・関税執行局）による射殺事件とそれに続く市内全域での一斉捜査を受け、大規模な抗議活動が発生し、地域社会における不安と動揺の高まりを反映している。全国的な運動の一環であるデモは、時に暴力化しており、平和を求める声が上がる一方で、移民取り締まりと公共の安全との間の緊張が浮き彫りになっている。これらの出来事は、現在の移民政策が社会に与える影響と、高まる感情の中で秩序を維持することの難しさを示している。
ベネズエラ政府は、多数の囚人を解放するという公約に続き、少数の囚人（11人）を解放しました。一方、800人以上が依然として拘束されており、その中には野党関係者も含まれています。家族は情報を求めて刑務所の外に集まり、擁護団体が状況を監視し、解放を追跡しています。今回の解放は、今後の選挙を前にした約束を受けたもので、解放された人々の中にはすでに海外に移住している人もいます。
ジェニファー・ダウドナが支援する新たなCRISPRスタートアップ企業であるAurora Therapeuticsは、パーソナライズされたバリエーションに対する新たな臨床試験の数を減らすことができる、適応可能な治療法を開発することで、遺伝子編集薬の承認を効率化することを目指しています。このアプローチは、フェニルケトン尿症（PKU）のような疾患を対象としており、FDAが検討しているオーダーメイド治療薬に対する新たな規制経路と合致しており、遺伝子編集分野を活性化させ、CRISPRの影響を拡大する可能性があります。
この記事では、物議を醸しているAI生成コンテンツ、いわゆる「AIスロップ」の台頭を探求し、オンライン空間を劣化させる可能性と、予期せぬ創造性を育む可能性の両方を検証するとともに、新たなCRISPRスタートアップが遺伝子編集規制の将来に対して抱く楽観的な見通しを強調しています。低品質なAIコンテンツの蔓延に対する懸念と、テクノロジーのイノベーション能力とのバランスを取りながら、CRISPR技術の進化する状況と、その規制上のハードルについて議論しています。
AIを活用したランタイム攻撃が従来のセキュリティ対策を上回り、2026年までにCISOは推論セキュリティプラットフォームの導入を迫られるでしょう。AIがパッチのリバースエンジニアリングを加速させ、ブレイクアウト時間が1分未満に短縮される中、企業はマルウェアを使用しない、キーボード操作によるエクスプロイトからリアルタイムで保護することを優先する必要があります。これらのエクスプロイトは従来の防御を回避します。この変化により、AIエージェントが動作するランタイム環境に焦点を当てる必要が生じ、急速に進化する脅威を軽減するために、即時の可視性と制御が求められます。
複数のソースからの情報を統合するOrchestral AIは、AlexanderとJacob Romanによって開発された新しいPythonフレームワークであり、LangChainのような複雑なツールとは対照的に、よりシンプルで型安全、かつ再現性のあるLLMオーケストレーションのアプローチを提供します。同期的実行と決定論的な結果を優先することで、Orchestralは、特に科学研究において、AIをよりアクセスしやすく、信頼性の高いものにすることを目指しています。
先月のパルミラにおけるISISの待ち伏せ攻撃で米兵2名とアメリカ人通訳1名が死亡したことを受け、米国は、シリア民主軍を含むパートナー部隊、そしてますますシリア政府との連携を強化し、「オペレーション・ホークアイ・ストライク」の一環として、シリア国内のISISの標的に対し、2回目の大規模な報復攻撃を開始した。複数の報道によると、これらの攻撃はISISのインフラを弱体化させ、米国が自国の戦闘員に危害を加える者を追跡し排除するという明確なメッセージを送ることを目的としている。
Anthropicは、サードパーティアプリケーションを介したClaude AIモデルへの不正アクセスを防ぎ、競合するAI研究所がClaudeを使用して競合システムをトレーニングすることを制限するために、技術的な保護措置を実施しています。この措置は、価格と使用制限を保護することを目的としていますが、一部のユーザーのワークフローを中断させ、意図しないアカウント停止につながり、AIのアクセスしやすさと責任ある利用および競争とのバランスを取ることの難しさを浮き彫りにしています。この動きは、強力なAIモデルへのアクセスを制御することの重要性の高まりと、より広範なAIエコシステムへの影響を強調しています。
ミネアポリスでICEによる射殺事件と市内一斉捜査を受け、数千人が抗議活動を行い、地域社会における不安の高まりが浮き彫りになった。全国的な運動の一環であるデモは、法執行機関との衝突を引き起こし、政治的扇動との非難が飛び交う中で、平和的な抗議を求める声が上がっている。これらの出来事は、移民取締政策が社会に与える影響と、地域社会と連邦機関との間に生じる緊張を浮き彫りにしている。
セマンティックキャッシュは、クエリの正確な文言ではなく意味に焦点を当てることで、意味的に類似した質問に対する応答を識別して再利用し、LLM APIのコストを大幅に削減できます。ある企業がセマンティックキャッシュを実装した結果、67%のキャッシュヒット率を達成し、LLM APIの費用を73%削減することに成功しました。これは、LLMアプリケーションにおける大幅なコスト削減と効率向上の可能性を示しています。このアプローチは、多様な表現で言い換えられたユーザーのクエリに内在する冗長性を捉えられない、従来の完全一致キャッシュの限界を克服するものです。
ベネズエラ政府が約束した恩赦に基づき、ごく一部の囚人が釈放されたものの、釈放されたのはわずか11人で、800人以上が依然として収監されている。家族は情報を求めて刑務所の外に集まっており、擁護団体は釈放の遅いペースに懸念を表明している。残りの収監者の中には、野党の大統領候補の義理の息子も含まれている。
ジェニファー・ダウドナが顧問を務める新たなCRISPRスタートアップ、Aurora Therapeuticsは、パーソナライズされたバリエーションに対して新たな臨床試験の数を減らすことができる、適応可能な治療法を開発することで、遺伝子編集薬の承認を効率化することを目指しています。このアプローチは、フェニルケトン尿症（PKU）のような疾患を対象としており、個別化された治療法をサポートする新しい規制経路に対する最近のFDAの支持と一致しており、遺伝子編集分野を活性化し、患者のアクセスを拡大する可能性があります。
Discussion
Join the conversation
Be the first to comment