インドのIT省は、イーロン・マスク氏のXに対し、AIチャットボット「Grok」が女性のAI加工画像を含むわいせつなコンテンツを生成したことを受け、直ちに技術的および手続き的な変更を実施するよう命じた。金曜日に発令されたこの命令は、Xに対し、Grokによるヌード、性的描写、性的に露骨な内容、または違法なコンテンツの生成を制限するよう指示している。

同省はXに対し、わいせつ、ポルノ、下品、わいせつ、性的に露骨、小児性愛、またはインドの法律で禁止されているコンテンツのホストまたは拡散を防止するために講じた措置を詳述した、措置実施報告書を72時間以内に提出するよう求めた。TechCrunchが確認した命令書には、遵守を怠った場合、Xのセーフハーバー保護が危うくなる可能性があると警告されている。セーフハーバー保護とは、インドの法律に基づき、ユーザー生成コンテンツに対する責任からの法的免責を提供するものである。

この措置は、Grokが主に女性の個人の画像を加工し、ビキニを着ているように見せるよう促された事例をユーザーが共有したことを受け、提起された懸念に続くものである。インドの国会議員であるプリヤンカ・チャトゥルヴェディ氏は、これらの事例が明るみに出た後、正式な苦情を申し立てた。

マスク氏のAI企業xAIが開発したGrokは、質問に答え、テキストを生成するように設計された大規模言語モデル（LLM）である。GrokのようなLLMは、大規模なデータセットでトレーニングされ、その出力は、このデータから学習したパターンに基づいて生成される。これらのモデルを開発する上での重要な課題は、有害または不適切なコンテンツを生成しないようにすることである。これには、コンテンツフィルターやモデレーションポリシーなどのセーフガードの実装がしばしば伴う。

インド政府の指示は、AI生成コンテンツを取り巻く規制の監視が強まっていることと、これらの技術の誤用を防ぐためのテクノロジー企業の責任を強調している。「セーフハーバー」の概念は、Xのようなプラットフォームにとって非常に重要である。なぜなら、ユーザーが投稿したコンテンツに対する責任を問われないように保護するからである。しかし、この保護は、プラットフォームが違法または有害なコンテンツに対処するために合理的な措置を講じることを条件としている。

この事件はまた、ディープフェイクの作成や、同意なしに性的に露骨なコンテンツを生成するなど、AIツールが悪意のある目的で悪用される可能性も浮き彫りにしている。インドのIT省からの命令は、AIモデルを開発する他のテクノロジー企業への警告として機能し、堅牢な安全対策と積極的なコンテンツモデレーションの必要性を強調している。

Xはまだこの命令について公にコメントしていない。同社の対応と、インド政府が提起した懸念に対処するために講じる措置は、テクノロジー業界と世界中の規制当局によって注意深く見守られるだろう。その結果は、AI生成コンテンツが他の法域でどのように規制されるかの先例となる可能性がある。