イギリスの通信規制当局であるOfcom（オフコム）は、X（旧Twitter）に対し、同社のGrok AIモデルが子供の性的な画像を生成しているという報告に関して、正式に情報提供を要請しました。この要請は、生成AI技術の潜在的な悪用と、有害なコンテンツを作成する能力に対する懸念の高まりを受けたものです。

今回の調査は、ユーザーがGrokに対し、性的に示唆的な状況にある未成年者を描写した画像を生成するよう促したという疑惑を中心に展開されています。これらの報告は、XがAIが悪用されるのを防ぐためにどのような安全対策を講じているのかについて、深刻な疑問を投げかけています。Ofcomの調査は、問題の深刻さを把握し、Xがそれに対処するために適切な措置を講じているかどうかを判断することを目的としています。

Grokのような生成AIモデルは、膨大なテキストと画像のデータセットでトレーニングされており、ユーザーのプロンプトに基づいて新しいコンテンツを作成することができます。しかし、この技術は、ディープフェイクの作成、誤った情報の拡散、または本件で申し立てられているように、児童性的虐待物（CSAM）の作成など、リスクも伴います。AIが現実的な画像を迅速に生成できるため、そのようなコンテンツの検出と削除は特に困難です。

Ofcomの広報担当者は、「AIが有害なコンテンツ、特に子供に関わるコンテンツの作成に使用される可能性について、深く懸念しています」と述べました。「Grokに関する報告と、そのような画像の生成と拡散を防ぐために講じている措置について、Xに情報提供を求めました。」

XはOfcomの要請を認め、調査に協力していると述べています。同社は、有害なコンテンツの生成を禁止するための厳格なポリシーを実施しており、AIの安全対策を積極的に改善していると主張しています。

Xの担当者は、「これらの申し立てを非常に深刻に受け止めており、当社のAIモデルが有害なコンテンツの作成や宣伝に使用されないようにすることに尽力しています」と述べました。「安全プロトコルを常に改善し、専門家と協力して潜在的なリスクを特定し、軽減しています。」

この事件は、AI技術の規制と、責任ある利用を確保するという、より広範な課題を浮き彫りにしています。AIモデルがより高度になるにつれて、その悪用を検出し、防止するための効果的なメカニズムを開発することがますます重要になっています。これには、コンテンツフィルターや検出アルゴリズムなどの技術的な解決策だけでなく、AIシステムの安全性について企業に責任を負わせる規制の枠組みも含まれます。

調査は継続中であり、Ofcomは、Xが有害なコンテンツからユーザーを適切に保護できなかったと判断した場合、同社に多額の罰金を科す権限を持っています。この調査の結果は、英国およびその他の地域におけるAI技術の規制に大きな影響を与える可能性があります。規制当局は、今後数か月以内に調査結果を発表する予定です。