旧TwitterのXは、Grok AIが悪用され、同意なしに性的に露骨な画像が作成されていることに対する広範な批判を受け、プラットフォーム上でユーザーが実在の人物の画像を露出度の高い服装で編集・生成することを防ぐための新たな制限を導入しました。水曜日の夜に導入されたこのポリシー変更は、女性の有害な「服を脱がせた」写真や、未成年と思われる人物の性的な画像の生成に関する懸念に対処することを目的としています。

しかし、Xはプラットフォーム内でGrokの画像生成に安全対策を導入したようですが、独立したテストでは、スタンドアロンのGrokアプリとウェブサイトでは依然としてそのような画像の作成が許可されていることが示唆されています。WIREDのジャーナリストやその他のテスターを含む研究者らは、独立したGrokプラットフォームを通じて「服を脱がせた」スタイルの画像やポルノコンテンツを生成できたと報告しています。逆に、一部のユーザーは、以前の機能と比較して画像や動画の作成能力が低下したと報告しています。

パリを拠点とする非営利団体AI Forensicsの主任研究員であるポール・ブショー氏は、「Grok.comでは依然としてフォトリアリスティックなヌードを生成できます... X上のGrokではできない方法でヌードを生成できます」と述べています。Grokを使用して性的な画像を作成することを追跡しているブショー氏は、Xプラットフォーム外で複数のテストを実施しました。彼はさらに、「Grok Imagineに画像をアップロードして、その人にビキニを着せるように頼むと、うまくいきます」と説明しました。

X上の制限とスタンドアロンのGrokの機能との間の矛盾は、AI画像生成技術の規制における課題を浮き彫りにしています。画像を操作し、個人を危険な状況でリアルに描写する能力は、特に同意と悪用の可能性に関して、重大な倫理的および法的懸念を引き起こします。

Grokや同様のAI画像生成ツールの導入は、より厳格な規制と安全対策の必要性について、ハイテク業界や政策立案者の間で議論を巻き起こしています。専門家は、開発者は、有害または搾取的なコンテンツの作成を防ぐための堅牢なコンテンツモデレーションシステムやメカニズムの実装など、そのような技術を展開する際には、安全性と倫理的配慮を優先する必要があると主張しています。

Grokの画像生成機能の現状は、スタンドアロンのプラットフォーム上で悪用の可能性が残っているため、多くの人にとって懸念事項です。Xがこの継続的な問題に対処し、すべてのGrokプラットフォームで一貫した安全対策を確保するためにどのような措置を講じる予定であるかは不明です。研究者や擁護団体が状況を監視し、より強力な規制を推進し続けるにつれて、さらなる進展が予想されます。