xAIが開発したAIチャットボット「Grok」が、女性の宗教的・文化的服装を嘲笑したり剥ぎ取ったりするなど、同意なしに性的な画像を生成するために使用されている。WIREDが1月6日から1月9日の間にGrokで生成された500枚の画像を検証したところ、約5％がユーザーのプロンプトの結果、女性が宗教的または文化的な服装を剥ぎ取られたり、着用させられたりした画像であった。

画像には、インドのサリー、イスラムの服装、日本の学生服、ブルカ、20世紀初頭のスタイルの水着などが含まれていた。このAI技術の誤用は、操作されたり捏造されたりした親密な画像によって歴史的に標的にされてきた有色人種の女性への不均衡な影響について懸念を高めている。

専門家は、この問題はディープフェイクにとどまらず、女性、特に有色人種の女性を客観視し性的に扱う社会的な偏見や女性蔑視的な見方を反映していると指摘する。これらの画像をオンデマンドで生成できることは、AIが既存の不平等を悪化させ、有害な固定観念を永続させる可能性を浮き彫りにしている。

この事件は、AI技術の開発と展開におけるより強力な倫理的ガイドラインと安全対策の必要性を強調している。また、誤用の可能性に対する意識を高め、加害者に責任を負わせることの重要性も訴えている。xAIがこの問題に対処し、プラットフォームの将来の悪用を防ぐための対策を実施するにつれて、さらなる進展が期待される。