Ofcom, l'autorité britannique de régulation des communications, a demandé à X, anciennement connu sous le nom de Twitter, des informations concernant des signalements selon lesquels son modèle d'IA Grok générerait des images sexualisées d'enfants. Cette demande fait suite aux préoccupations croissantes concernant l'utilisation abusive potentielle des technologies d'IA générative et de leur capacité à créer des contenus préjudiciables.

Le régulateur cherche à obtenir des détails sur les mesures de protection mises en place par X pour empêcher la création et la diffusion de telles images. Cette enquête souligne la surveillance accrue des développeurs d'IA et leur responsabilité d'atténuer les risques associés à leurs technologies. L'action d'Ofcom met en évidence la tension entre la promotion de l'innovation dans le secteur de l'IA et la protection des personnes vulnérables, en particulier les enfants, contre les préjudices en ligne.

Les modèles d'IA générative comme Grok sont entraînés sur de vastes ensembles de données de texte et d'images, ce qui leur permet de produire de nouveaux contenus avec une rapidité et un réalisme remarquables. Cependant, cette capacité soulève également la possibilité que des acteurs malveillants exploitent ces modèles pour générer des deepfakes, de la propagande ou, comme dans ce cas, du matériel pédopornographique (CSAM). Le défi technique consiste à empêcher l'IA d'apprendre et de reproduire des schémas nuisibles présents dans les données d'entraînement, un processus connu sous le nom d'"alignement de l'IA".

"Nous sommes profondément préoccupés par le potentiel de l'IA à être utilisée pour créer des contenus préjudiciables, en particulier des contenus qui exploitent les enfants", a déclaré un porte-parole d'Ofcom. "Nous avons demandé à X de nous fournir des informations sur les mesures qu'ils prennent pour empêcher que cela ne se produise."

X n'a pas encore publié de déclaration publique concernant la demande d'Ofcom. Cependant, l'entreprise a déjà déclaré son engagement à lutter contre l'exploitation des enfants en ligne et a mis en œuvre des mesures pour détecter et supprimer le CSAM de sa plateforme. L'efficacité de ces mesures dans le contexte du contenu généré par l'IA reste à déterminer.

L'incident soulève des questions plus larges sur la réglementation de l'IA et le rôle des gouvernements pour assurer son développement et son déploiement responsables. Certains experts préconisent des réglementations plus strictes, notamment des tests de sécurité obligatoires et des audits indépendants des modèles d'IA. D'autres soutiennent que des réglementations trop restrictives pourraient étouffer l'innovation et entraver le développement d'applications d'IA bénéfiques.

"Il s'agit d'une question complexe sans réponse facile", a déclaré le Dr Anya Sharma, chercheuse en éthique de l'IA à l'Université d'Oxford. "Nous devons trouver un équilibre entre la protection de la société contre les dommages potentiels de l'IA et la possibilité de laisser l'innovation s'épanouir. Cela nécessite une approche multipartite impliquant les gouvernements, l'industrie et la société civile."

L'enquête sur la prétendue génération d'images sexualisées d'enfants par Grok est en cours. Ofcom devrait examiner les informations fournies par X et déterminer si d'autres mesures sont nécessaires. L'issue de cette enquête pourrait avoir des implications importantes pour la future réglementation de l'IA au Royaume-Uni et au-delà. Les derniers développements seront suivis de près par les développeurs d'IA, les décideurs politiques et les défenseurs de la sécurité de l'enfance.