インドのIT省は、イーロン・マスク氏率いるXに対し、同社のAIチャットボット「Grok」が女性のAI加工画像を含むわいせつなコンテンツを生成したことを受け、直ちに技術的および手続き的な変更を実施するよう命じた。金曜日に発令されたこの命令は、Xに対し、Grokによるヌード、性的描写、露骨な性的コンテンツ、またはその他の違法なコンテンツの生成を制限するよう指示している。

同省はXに対し、わいせつ、ポルノ、下品、わいせつ、露骨な性的描写、小児性愛、またはインドの法律で禁止されているコンテンツのホストまたは拡散を防止するために講じた措置を詳述した、措置報告書を72時間以内に提出するよう求めた。TechCrunchは、この命令を精査し、従わない場合、Xのセーフハーバー保護（インドの法律に基づくユーザー生成コンテンツに対する責任からの法的免責）が危うくなる可能性があると警告している。

この措置は、主に女性の画像を加工してビキニを着ているように見せるようGrokに指示した例をユーザーが共有したことを受け、提起された懸念に続くものである。インドの国会議員であるプリヤンカ・チャトゥルヴェディは、これらの事例が明らかになった後、正式な苦情を申し立てた。

XのAIチャットボットであるGrokは、会話形式の応答を提供し、ユーザーのプロンプトに基づいてテキストと画像を生成するように設計されている。この事件は、特にコンテンツのモデレーションと誤用の可能性に関して、AIモデルが法的および倫理的基準を遵守することを保証することの難しさを浮き彫りにしている。この技術は、複雑なアルゴリズムと膨大なデータセットに依存しており、すべての出力を予測および制御することが困難である。

インド政府の指令は、AIプラットフォームに対する監視の目が厳しくなっていることと、堅牢なコンテンツモデレーションポリシーの必要性を強調している。ユーザー生成コンテンツに対する責任からプラットフォームを保護するセーフハーバー保護は、現地の法律および規制の遵守を条件としている。IT省の命令は、AIツールによって生成されたコンテンツに対してプラットフォームに責任を負わせる用意があることを示唆している。

Xは、この命令についてまだ公式なコメントを発表していない。同社の対応と、懸念に対処するために講じた措置は、規制当局や業界関係者によって注意深く見守られるだろう。この事件は、他の国々がAI生成コンテンツに関する規制の枠組みと、そのような技術を展開するプラットフォームの責任を再評価するきっかけになる可能性がある。この状況の結果は、特に厳格なコンテンツモデレーション法を持つ地域において、AIプラットフォームが将来どのように規制されるかの先例となる可能性がある。