L'Internet Watch Foundation (IWF) a signalé avoir trouvé des images à caractère sexuel d'enfants qui, selon elle, ont été créées à l'aide de Grok, le chatbot d'intelligence artificielle développé par xAI. L'IWF, une organisation basée au Royaume-Uni qui se consacre à l'identification et à la suppression des contenus pédopornographiques (CSAM) en ligne, a fait cette découverte lors de ses activités de surveillance de routine.

Selon l'IWF, les images "semblent avoir été" générées par Grok. L'organisation n'a pas publié de détails spécifiques sur les images elles-mêmes, invoquant la nécessité d'éviter toute diffusion supplémentaire de CSAM. Chris Vallance, de l'IWF, a confirmé la découverte, déclarant que l'organisation travaille avec xAI pour résoudre le problème.

Cette découverte soulève d'importantes préoccupations quant au potentiel d'exploitation des modèles d'IA à des fins malveillantes, en particulier la création de CSAM. La technologie de génération d'images par IA a progressé rapidement ces dernières années, permettant aux utilisateurs de créer des images très réalistes à partir d'invites textuelles. Cette capacité, tout en offrant un potentiel créatif, présente également un risque d'utilisation abusive. Les experts dans le domaine mettent en garde depuis longtemps contre la possibilité que les modèles d'IA soient utilisés pour générer des CSAM, et cet incident semble être une concrétisation de ces préoccupations.

Grok est un grand modèle linguistique (LLM) développé par xAI, la société d'intelligence artificielle d'Elon Musk. Les LLM sont entraînés sur des ensembles de données massifs de texte et de code, ce qui leur permet de générer du texte de type humain, de traduire des langues et de répondre à des questions. Grok est conçu pour être conversationnel et humoristique, et est actuellement disponible pour les abonnés de X Premium+. L'architecture et les données d'entraînement du modèle sont propriétaires, mais il est entendu qu'il est basé sur des réseaux de transformateurs, une architecture courante pour les LLM.

L'incident met en évidence les défis auxquels sont confrontés les développeurs d'IA pour empêcher l'utilisation abusive de leur technologie. Des mesures de protection telles que les filtres de contenu et les systèmes de modération sont généralement mises en œuvre pour empêcher la génération de contenu préjudiciable. Cependant, des utilisateurs déterminés peuvent trouver des moyens de contourner ces mesures de protection, par exemple en utilisant des invites soigneusement conçues qui contournent les filtres.

xAI n'a pas encore publié de déclaration publique concernant les conclusions de l'IWF. Il est prévu que l'entreprise enquête sur l'incident et prenne des mesures pour améliorer la sécurité de Grok. Cela pourrait impliquer d'affiner les filtres de contenu du modèle, d'améliorer sa capacité à détecter et à empêcher la génération de CSAM, et de travailler avec les forces de l'ordre pour identifier et poursuivre les personnes qui utilisent abusivement la technologie. L'incident est susceptible d'entraîner un examen plus approfondi des mesures de sécurité de l'IA et pourrait conduire à des appels à une réglementation plus stricte de la technologie de génération d'images par IA. L'industrie observera attentivement la réaction de xAI et les mesures qui seront mises en œuvre pour prévenir de futurs incidents.