カリフォルニア州司法長官のロブ・ボンタは金曜日、xAIに対し、ディープフェイク、非同意のわいせつ画像、児童性的虐待物（CSAM）の作成および配布を直ちに停止するよう要求する停止命令書を発行しました。この措置は、カリフォルニア州司法長官事務所が今週初めに、イーロン・マスク氏の人工知能企業であるxAIを、同社のチャットボットGrokが女性や未成年者の非同意の性的画像を生成するために使用されているという報告を受けて調査していることを発表したことを受けたものです。

ボンタはプレスリリースで、「本日、xAIに停止命令書を送付し、ディープフェイク、非同意のわいせつ画像、児童性的虐待物の作成および配布を直ちに停止するよう要求しました。この種の素材の作成は違法です。xAIが直ちに遵守することを強く期待します。カリフォルニア州はCSAMを一切容認しません」と述べました。

司法長官事務所はまた、xAIが大規模な非同意ヌードの作成を助長しているように見受けられ、それがオンラインで女性や少女を嫌がらせするために使用されていると主張しました。同事務所は、xAIがこれらの問題に対処するために講じている措置を5日以内に示すことを期待しています。

論争の中心にあるのは、xAIがAIからのよりフィルタリングされていない、潜在的に挑発的な応答を可能にするために作成したGrokの「スパイシーモード」機能です。この機能は、より魅力的なユーザーエクスペリエンスを提供することを意図していましたが、有害で違法なコンテンツの生成への扉を開いたようです。

ディープフェイクは、AIによって生成された合成メディアであり、個人が実際には行っていないことや言っていないことを説得力を持って描写することができ、懸念が高まっています。この技術は、特に非同意ポルノの作成や誤った情報の拡散に使用される場合、重大な倫理的および法的問題を提起します。これらの画像が比較的簡単に作成およびオンラインで拡散できるため、潜在的な危害が増幅されます。

今回の調査とそれに続く停止命令は、急速に進化するAI技術を規制する課題を浮き彫りにしています。AIは多くの利点を提供する一方で、慎重な検討と軽減のための積極的な対策を必要とするリスクも提示します。この事例は、AI開発者が設計および展開プロセスにおいて安全性と倫理的配慮を優先する必要性を強調しています。

xAIは、停止命令に対してまだ公式な回答を発表していません。同社は現在、カリフォルニア州司法長官事務所に対し、自社の技術の誤用を防ぎ、非同意のディープフェイク画像の作成および配布から個人を保護するために具体的な措置を講じていることを示すという課題に直面しています。この訴訟の結果は、AI企業が自社の技術の潜在的な誤用に対してどのように責任を問われるかについて、先例となる可能性があります。