インターネット監視団体（IWF）は、xAIが開発した人工知能チャットボット「Grok」を使って作成されたと思われる児童性的虐待画像を発見したと報告しました。英国を拠点とする、オンライン上の児童性的虐待画像（CSAM）の特定と削除に尽力する団体であるIWFは、定期的な監視中にこの発見をしました。

IWFによると、この画像はGrokに送信されたプロンプトを通じて生成されました。IWFは、画像や作成に使用されたプロンプトに関する具体的な詳細は公表していませんが、資料が確立された基準の下でCSAMとして分類されたことを確認しました。IWFは直ちにこの発見をxAIに報告しました。

IWFのCEOであるスージー・ハーグリーブスOBEは、「私たちの優先事項は、オンラインでの子供たちの安全であり、CSAMが発見された場合は迅速に特定して削除します」と述べました。「Grokがこの忌まわしい資料の作成に使用されないように、xAIと協力しています。」

xAIはIWFの報告を認め、「非常に深刻に」受け止めていると述べました。声明の中で、同社は事件を調査し、将来の発生を防ぐための措置を実施していると述べました。これらの措置には、CSAMの生成に使用される可能性のあるプロンプトをより適切に検出してブロックするために、Grokのコンテンツフィルターと安全プロトコルを改良することが含まれていると伝えられています。

2023年11月に発売されたGrokは、テキストの生成、言語の翻訳、さまざまな種類のクリエイティブコンテンツの作成、および有益な方法での質問への回答を行うように設計された大規模言語モデル（LLM）です。GrokのようなLLMは、テキストとコードの膨大なデータセットでトレーニングされており、人間のようなテキストを生成できます。ただし、このテクノロジーには、有害なコンテンツの作成における悪用の可能性など、リスクも伴います。

この事件は、AI開発者がテクノロジーの悪用を防ぐ上で直面している継続的な課題を浮き彫りにしています。この分野の専門家は、LLMに関連するリスクを軽減するために、堅牢な安全メカニズムと継続的な監視の必要性を強調しています。スタンフォード大学のAI倫理学教授であるエミリー・カーター博士は、「AI開発者は、自社の製品がCSAMの作成または配布に使用されないようにする責任があります」と述べています。「これには、高度なコンテンツフィルタリング、ユーザー教育、IWFのような組織との連携を含む、多面的なアプローチが必要です。」

Grokによって生成されたCSAMの発見は、AIが悪意のある目的で悪用される可能性についての懸念を高めています。また、オンラインでの児童性的虐待と闘うために、AI開発者、法執行機関、児童保護団体間の継続的な協力の重要性を強調しています。IWFは、この問題に対処し、オンラインでの子供たちの安全を確保するために、xAIや他のハイテク企業と協力し続けています。調査は継続中であり、xAIが予防措置を実施するにつれて、さらなる最新情報が期待されます。