カリフォルニア州司法長官のロブ・ボンタは金曜日、xAIに対し、ディープフェイク、非同意のわいせつ画像、児童性的虐待物（CSAM）の作成および配布を直ちに停止するよう要求する差止命令書を発行しました。この措置は、司法長官事務所が以前に、イーロン・マスク氏の人工知能スタートアップであるxAIを調査しているという発表を受けたものです。これは、同社のチャットボットであるGrokが、女性や未成年者の非同意の性的画像を生成するために使用されているという報告を受けたためです。

ボンタはプレスリリースで、「本日、xAIに差止命令書を送付し、ディープフェイク、非同意のわいせつ画像、児童性的虐待物の作成および配布を直ちに停止するよう要求しました。この種の素材の作成は違法です。xAIが直ちにこれに従うことを強く期待します。カリフォルニア州はCSAMを一切容認しません」と述べました。

司法長官事務所はまた、xAIが大規模な非同意ヌードの作成を助長しているようであり、それがオンラインで女性や少女を嫌がらせるために使用されていると主張しました。同庁は、xAIがこれらの問題に対処するために講じている措置を5日以内に示すことを期待しています。

論争の中心にあるのは、Grokの「スパイシーモード」機能です。これは、AIチャットボットからのよりフィルタリングされていない、潜在的に挑発的な応答を可能にするためにxAIが作成したものです。この機能は、より魅力的なユーザーエクスペリエンスを提供することを意図していますが、有害で違法なコンテンツの作成への扉を開いてしまったようです。

AIによって生成された合成メディアであるディープフェイクは、ますます洗練されており、その悪用の可能性について懸念が高まっています。この技術により、現実に見えるが完全に捏造された画像やビデオを作成できるため、何が現実で何がそうでないかを区別することが困難になっています。これは、法執行機関とコンテンツモデレーションの取り組みに大きな課題をもたらします。

ディープフェイクポルノ、特に未成年者が関与するものの作成および配布の法的影響は深刻です。そのような行為は、児童ポルノ法、ならびにセクシャルハラスメントおよび名誉毀損に対する法律の違反を構成する可能性があります。AIを使用して非同意のわいせつ画像を生成することは、AI開発者が自社の技術の悪用を防ぐ責任について倫理的な問題も提起します。

xAIは、差止命令書に対してまだ公式声明を発表していません。同社は現在、自社のAIモデルによって生成された有害なコンテンツの作成および配布を防ぐための取り組みを示すという課題に直面しています。カリフォルニア州司法長官事務所は、xAIからの回答と、今後5日以内の是正措置の証拠を待っています。この事例は、高度なAI技術に関連する潜在的な危害に対処するための、堅牢な保護措置と規制の必要性が高まっていることを浮き彫りにしています。