L'Ofcom, l'autorité de régulation des communications du Royaume-Uni, a demandé des informations à X (anciennement Twitter) concernant des signalements selon lesquels son chatbot d'IA Grok générerait des images sexualisées d'enfants. L'enquête fait suite aux préoccupations soulevées par divers groupes de défense de la sécurité en ligne et organes de presse concernant l'utilisation potentiellement abusive de la technologie d'IA.

L'autorité de régulation cherche à comprendre les mesures de protection mises en place par X pour empêcher la création et la diffusion de telles images, et à évaluer l'efficacité de ces mesures. L'Ofcom a le pouvoir d'infliger des amendes aux entreprises qui ne protègent pas les utilisateurs contre les contenus préjudiciables, et cette enquête pourrait entraîner d'autres mesures réglementaires.

Grok, développé par la société d'IA xAI de X, est un grand modèle linguistique (LLM) similaire à d'autres chatbots d'IA comme ChatGPT et Gemini de Google. Ces modèles sont entraînés sur de vastes ensembles de données de texte et d'images, ce qui leur permet de générer de nouveaux contenus, de traduire des langues et de répondre à des questions. Cependant, la même technologie peut être exploitée pour créer des contenus préjudiciables ou illégaux, y compris du matériel pédopornographique (CSAM).

La création d'images sexualisées d'enfants par des modèles d'IA soulève d'importantes préoccupations éthiques et juridiques. Les experts avertissent que ces images, même si elles sont générées de manière synthétique, peuvent contribuer à la normalisation et à l'exploitation des enfants. En outre, la facilité avec laquelle ces images peuvent être créées et diffusées en ligne pose un défi aux forces de l'ordre et aux organismes de protection de l'enfance.

« Le potentiel d'utilisation abusive de l'IA de cette manière est profondément préoccupant », a déclaré le Dr Joanna Bryson, professeure d'éthique et de technologie à la Hertie School de Berlin. « Cela souligne le besoin urgent de réglementations robustes et de directives éthiques pour régir le développement et le déploiement des technologies d'IA. »

X a déclaré qu'elle s'engageait à empêcher l'utilisation abusive de Grok et qu'elle avait mis en œuvre des mesures pour détecter et supprimer les contenus préjudiciables. Ces mesures comprennent des filtres de contenu, un examen humain et une collaboration avec les forces de l'ordre. Cependant, les critiques soutiennent que ces mesures ne sont pas suffisantes et qu'il faut faire davantage pour empêcher la création de CSAM par des modèles d'IA.

L'enquête de l'Ofcom s'inscrit dans le cadre d'un effort plus large visant à réglementer l'IA et à garantir son développement et son utilisation responsables. Les gouvernements et les organismes de réglementation du monde entier sont aux prises avec les défis posés par l'IA, notamment les questions de biais, de discrimination et de diffusion de la désinformation. L'Union européenne finalise actuellement sa loi sur l'IA, qui établira un cadre juridique complet pour l'IA en Europe.

L'issue de l'enquête de l'Ofcom pourrait avoir des implications importantes pour X et l'ensemble du secteur de l'IA. Elle pourrait conduire à des réglementations plus strictes sur le développement et le déploiement des modèles d'IA, et pourrait également créer un précédent pour d'autres organismes de réglementation dans le monde. L'Ofcom n'a pas précisé de calendrier pour l'achèvement de son enquête. X a accusé réception de la demande de l'Ofcom et a déclaré qu'elle coopérait pleinement à l'enquête.