AIの真実性の危機：企業が取り組むDEI、RAG、そしてシステム設計

HHS、PalantirのAIツールを使用し助成金におけるDEIを標的にしていたことが判明

保健福祉省（HHS）が、パランティア・テクノロジーズ社の人工知能ツールを使用し、多様性、公平性、包括性（DEI）イニシアチブおよびジェンダー・イデオロギーを標的としたドナルド・トランプ前大統領の大統領令への準拠状況を、助成金、助成金申請、および職務記述書について審査していたことが、最近公開されたHHSの2025年におけるAI利用事例のインベントリで明らかになった。パランティアまたはHHSのいずれも、これらの目的でのパランティアのソフトウェアの使用を公表していなかった。

このインベントリにより、HHSが2025年3月からAIツールを使用していたことが判明した。Wiredによると、トランプ大統領の2期目の最初の1年間で、パランティアはHHSからのみで3500万ドル以上の支払いと債務を受け取っていた。しかし、これらの取引の説明には、DEIまたはジェンダー・イデオロギーを標的とした作業については記載されていなかった。

AI実装に関する他のニュースとして、VentureBeatによると、企業は、大規模言語モデル（LLM）を独自のデータに基づいて構築するためにRetrieval-Augmented Generation（RAG）を採用する際に、検索を基盤となるシステム依存関係としてますます認識している。検索の失敗は、ビジネスリスクに直接伝播し、信頼、コンプライアンス、および運用上の信頼性を損なう可能性がある。「古いコンテキスト、管理されていないアクセスパス、および不十分に評価された検索パイプラインは、単に回答の質を低下させるだけでなく、信頼、コンプライアンス、および運用上の信頼性を損なう」とVentureBeatは報じた。

一方、MIT Technology Reviewは、米国国土安全保障省が、一般消費者向けのコンテンツを作成するために、GoogleとAdobeのAIビデオジェネレーターを使用していると報じた。このニュースは、AIによって生成されたコンテンツが社会の信頼を損なう可能性について懸念を引き起こしている。

エンタープライズAIシステムを成功させるために、Mistral AIは、AI変革の基盤として「象徴的なユースケース」を特定することを推奨している。このアプローチには、特定の課題に対処し、測定可能な成果を達成するために、業界のリーダーと協力して、カスタマイズされたAIソリューションを共同設計することが含まれると、MIT Technology Reviewは報じている。

AsanaのCPOであるArnab Bose氏は、企業内でのAIエージェントの成功には、共有メモリとコンテキストが重要であることを強調した。「タスクを割り当てるときに、ビジネスがどのように機能するかについて、すべてのコンテキストを再提供する必要はありません」と、Bose氏はサンフランシスコで開催されたVentureBeatのイベントで述べた。Asanaは昨年、AIエージェントがチームやプロジェクトに直接統合されたコラボレーションシステムを構築することを目標に、Asana AI Teammatesを立ち上げた。