L'Internet Watch Foundation (IWF) a signalé avoir trouvé des images à caractère sexuel impliquant des enfants qui "semblent avoir été" créées à l'aide de Grok, un chatbot d'intelligence artificielle développé par xAI. L'IWF, une organisation basée au Royaume-Uni qui se consacre à l'identification et à la suppression des contenus pédopornographiques (CSAM) en ligne, a fait cette découverte lors de ses activités de surveillance de routine.

Selon l'IWF, les images ont été générées à partir d'instructions données à l'IA Grok. Bien que la nature exacte des instructions et des images qui en ont résulté n'ait pas été divulguée afin de protéger les victimes et d'éviter toute prolifération, l'IWF a déclaré que les images atteignaient son seuil de contenu illégal. L'organisation a depuis pris des mesures pour supprimer le matériel identifié et travaille avec les forces de l'ordre compétentes.

L'incident soulève d'importantes préoccupations quant au potentiel d'exploitation des modèles d'IA à des fins malveillantes, en particulier la création et la diffusion de CSAM. Il met en évidence le défi permanent pour les développeurs d'IA de mettre en œuvre des garanties robustes et des systèmes de modération du contenu afin de prévenir les abus. "Ceci est un rappel brutal des responsabilités qui accompagnent le développement d'outils d'IA puissants", a déclaré un porte-parole de l'IWF. "Nous avons besoin de mesures proactives pour garantir que ces technologies ne soient pas utilisées pour nuire aux enfants."

Grok, lancé par xAI fin 2023, est un grand modèle linguistique (LLM) conçu pour générer du texte, traduire des langues, écrire différents types de contenu créatif et répondre à des questions de manière informative. Les LLM sont entraînés sur des ensembles de données massifs de texte et de code, ce qui leur permet de comprendre et de générer du texte de type humain. Cependant, cette formation les expose également à des contenus potentiellement nuisibles, ce qui oblige les développeurs à mettre en œuvre des filtres et des mécanismes de sécurité pour empêcher la génération de matériel inapproprié ou illégal.

La découverte de l'IWF souligne la complexité de la modération du contenu à l'ère de l'IA. Les méthodes traditionnelles d'identification et de suppression des CSAM, qui reposent souvent sur un examen humain, sont mises à l'épreuve par l'échelle et la vitesse auxquelles l'IA peut générer du contenu. Cela nécessite le développement d'outils de détection automatisés et de mesures proactives pour identifier et atténuer les risques potentiels.

L'incident est susceptible de susciter un examen plus approfondi des protocoles de sécurité de l'IA et des pratiques de modération du contenu dans l'ensemble du secteur. Les régulateurs et les décideurs politiques se concentrent de plus en plus sur la lutte contre les préjudices potentiels associés à l'IA, notamment la génération de CSAM, la désinformation et d'autres formes de contenu préjudiciable. La loi sur l'IA de l'Union européenne, par exemple, comprend des dispositions pour réglementer les systèmes d'IA à haut risque et imposer des sanctions en cas de non-conformité.

xAI n'a pas encore publié de déclaration officielle concernant les conclusions de l'IWF. Toutefois, l'entreprise devrait coopérer à l'enquête et prendre des mesures pour remédier aux vulnérabilités identifiées dans Grok. L'incident constitue une occasion d'apprentissage essentielle pour la communauté de l'IA afin de renforcer les mesures de sécurité et de prévenir l'utilisation abusive de ces technologies puissantes. L'IWF continue de surveiller les plateformes en ligne à la recherche de CSAM et de collaborer avec des partenaires de l'industrie pour lutter contre l'exploitation des enfants.