インドネシアとマレーシアの当局は、xAIのチャットボット「Grok」による非同意の性的ディープフェイク生成に関する懸念を受け、一時的にアクセスを遮断しました。これらの措置は、AI生成画像（多くの場合、実在の女性や未成年者を描写し、時には暴力的なコンテンツを含む）の拡散に対する最も積極的な政府対応であり、ソーシャルネットワークX上のユーザープロンプトに応じてGrokによって生成されたものです。XとxAIはいずれも同じ企業の一部です。

インドネシアの通信・デジタル大臣、ムティア・ハフィド氏は、政府は非同意の性的ディープフェイクの作成を、デジタル領域における人権、尊厳、および市民の安全に対する重大な侵害と見なしていると述べました。彼女の声明は土曜日にガーディアンや他の報道機関に共有されました。インドネシアの省庁はまた、この件について協議するため、Xの担当者を召喚したと報じられています。ニューヨーク・タイムズは、マレーシア政府が日曜日に同様の禁止を発表したと報じました。

ディープフェイクは、「ディープラーニング」と「フェイク」を組み合わせた造語であり、既存の画像や動画内の人物を別の人に置き換える合成メディアです。この技術は、人工知能、特にディープラーニング技術を活用して、非常にリアルでありながら、捏造されたコンテンツを作成します。ディープフェイク技術のアクセシビリティと高度化は、特に同意、プライバシー、および名誉毀損や有害なコンテンツの作成における悪用の可能性に関して、重大な倫理的および法的懸念を引き起こしています。

インドネシアとマレーシアでの禁止措置は、AIが生成したわいせつなコンテンツの問題に対処する他の政府の措置に続くものです。インドのIT省は、Grokがそのような素材を生成するのを防ぐための措置を実施するようxAIに命じました。欧州委員会はまた、正式な調査への道を開く可能性のあるGrokに関連するすべての文書を保持するようxAIに要請しました。

これらの政府の措置が業界に与える影響はまだ不明ですが、有害または非倫理的と見なされるAI技術の開発と展開に規制機関が介入する意欲が高まっていることを示しています。xAIの主力チャットボットであるGrokは、質問に答え、会話形式で情報を提供するように設計されています。Xとの統合により、ユーザーはソーシャルメディアプラットフォーム内で直接チャットボットにアクセスできます。インドネシアとマレーシアでの一時的な禁止措置は、xAIのユーザーベースに影響を与え、AI搭載プラットフォームのコンテンツモデレーションポリシーの開発に影響を与える可能性があります。

現在の状況は、政府関係者とxAIの代表者との間で継続的な議論が行われています。次のステップでは、不適切なコンテンツの生成を防ぐために、xAIがより厳格なコンテンツフィルターとモデレーションメカニズムを実装する可能性があります。インドネシアとマレーシアの政府は、これらの措置の効果に基づいて、禁止措置を再評価する可能性があります。