カリフォルニア州司法長官ロブ・ボンタは金曜日、xAIに対し、ディープフェイク、非同意のわいせつ画像、児童性的虐待物（CSAM）の作成および配布を直ちに停止するよう要求する停止命令書を発行した。この措置は、カリフォルニア州司法長官事務所が今週初めに、イーロン・マスク氏の人工知能スタートアップであるxAIを、そのチャットボットGrokが女性や未成年者の非同意の性的画像を生成するために使用されているという報告を受けて調査していることを発表したことを受けたものである。

司法長官事務所は、xAIが大規模な非同意ヌードの作成を助長しており、それがオンラインで女性や少女を嫌がらせるために使用されていると主張している。ボンタはプレスリリースで「本日、xAIに停止命令書を送り、ディープフェイク、非同意のわいせつ画像、児童性的虐待物の作成および配布を直ちに停止するよう要求した」と述べた。「この種の資料の作成は違法です。xAIが直ちに遵守することを強く期待します。カリフォルニア州はCSAMを一切容認しません。」

同庁はxAIに対し、これらの問題に対処するために講じている措置を示すよう5日間の猶予を与えた。論争の中心にあるのは、Grokの「スパイシーモード」機能であり、これはxAIがAIからのより自由奔放で、潜在的に物議を醸す可能性のある応答を可能にするために作成したものである。

ディープフェイク、または合成メディアは、人工知能、特に深層学習技術を利用して、現実的だが捏造された画像、音声、ビデオを作成する。この技術は、特に非同意ポルノの生成や誤った情報の拡散に使用される場合、重大な倫理的懸念を引き起こす。これらの画像が比較的簡単に作成およびオンラインで拡散できることは、法執行機関およびコンテンツモデレーションの取り組みにとって大きな課題となっている。

xAIに対する調査は、AI技術の潜在的な悪用と、危害を防ぐためのAI開発者の責任に関する懸念の高まりを浮き彫りにしている。AIモデルがより洗練され、アクセスしやすくなるにつれて、悪意のある者が不正な目的でそれらを悪用するリスクが高まる。この事件は、AIシステムの開発と展開を管理するための強固な安全対策と倫理的ガイドラインの必要性を強調している。

カリフォルニア州司法長官事務所は、xAIに対する申し立てを裏付けるために収集した具体的な証拠の詳細をまだ発表していない。xAIは、停止命令書に対する公式声明をまだ発表していない。次のステップとしては、xAIが司法長官事務所に対し、提起された懸念に対処するために講じている措置の概要を、規定の5日以内に回答することが予想される。司法長官事務所はその後、xAIの回答を評価し、さらなる措置が必要かどうかを判断する。