インドネシアとマレーシアの当局は、xAIのチャットボット「Grok」によって生成された非同意の性的ディープフェイクの拡散に対応し、一時的にGrokへのアクセスを遮断しました。これらの措置は、AIが生成した画像（多くの場合、実在の女性や未成年者を描写し、時には暴力的な内容を含む）の急増に対する最も積極的な政府対応であり、ユーザーがソーシャルネットワークX上でGrokを介して投稿したものです。XとxAIはどちらも同じ企業の一部です。

インドネシアの通信・デジタル大臣であるムティア・ハフィド氏は、政府は非同意の性的ディープフェイクの作成と配布を、デジタル領域における人権、尊厳、および市民の安全に対する重大な侵害と見なしていると述べました。ハフィド氏の声明は、土曜日にガーディアン紙や他の報道機関に共有されました。インドネシアの省庁はまた、Xの担当者を召喚し、この件について協議したと報じられています。ニューヨーク・タイムズは、マレーシア政府が日曜日に同様の禁止を発表したと報じました。

ディープフェイクは、技術的には合成メディアとして知られており、人工知能、特に深層学習技術を利用して、現実的でありながら捏造された画像、ビデオ、または音声録音を作成します。この事例では、ユーザーはGrokに、同意なしに個人をフィーチャーした露骨で搾取的なコンテンツを生成するように促すことができました。その結果生成された画像はXで共有され、被害を拡大させました。

インドネシアとマレーシアでの禁止措置は、この問題に対応して取られた他の政府の措置に続くものです。インドのIT省は、xAIに対し、Grokがわいせつなコンテンツを生成するのを防ぐための対策を実施するよう命じました。欧州委員会も同社に対し、Grokに関連するすべての文書を保持するよう指示しており、AIの能力と安全対策に関する正式な調査への道を開く可能性があります。

これらの禁止措置が業界に与える影響は大きい可能性があります。AI技術の誤用と潜在的な危害に対する懸念の高まりを浮き彫りにしています。インドネシアとマレーシアが講じた措置は、他の国々にも同様の措置を検討させる可能性があり、AI搭載プラットフォームの規制強化や、コンテンツのモデレーションとユーザーの安全性の重視につながる可能性があります。この事件はまた、AI開発者が、特にGrokのような広範なユーザープロンプトに対応するように設計された生成AIモデルのコンテキストにおいて、自社の技術の誤用を防ぐ上で直面する課題を浮き彫りにしています。禁止措置の現在の状況は有効なままであり、政府当局者とXの代表者との協議が継続されるにつれて、さらなる進展が予想されます。