L'Ofcom, l'autorité britannique de régulation des communications, a officiellement demandé à X (anciennement Twitter) des informations concernant des signalements selon lesquels son modèle d'IA Grok générerait des images sexualisées d'enfants. Cette demande fait suite aux préoccupations croissantes concernant l'utilisation abusive potentielle des technologies d'IA générative et de leur capacité à créer des contenus préjudiciables.

L'enquête porte sur des allégations selon lesquelles des utilisateurs auraient incité Grok à produire des images représentant des mineurs dans des situations sexuellement suggestives. Ces signalements soulèvent de sérieuses questions quant aux mesures de protection mises en place par X pour empêcher que l'IA ne soit exploitée à de telles fins. L'enquête de l'Ofcom vise à déterminer l'ampleur du problème et à savoir si X prend des mesures adéquates pour y remédier.

Les modèles d'IA générative comme Grok sont entraînés sur de vastes ensembles de données de textes et d'images, ce qui leur permet de créer de nouveaux contenus à partir d'instructions d'utilisateurs. Cependant, cette technologie présente également des risques, car les modèles peuvent être manipulés pour générer des deepfakes, diffuser de la désinformation ou, comme allégué dans ce cas, créer du matériel pédopornographique (CSAM). La capacité de l'IA à produire rapidement des images réalistes rend particulièrement difficile la détection et la suppression de tels contenus.

"Nous sommes profondément préoccupés par le potentiel de l'IA à être utilisée pour créer des contenus préjudiciables, en particulier impliquant des enfants", a déclaré un porte-parole de l'Ofcom. "Nous avons demandé à X de nous fournir des informations sur les signalements concernant Grok et les mesures qu'ils prennent pour empêcher la génération et la diffusion de telles images."

X a accusé réception de la demande de l'Ofcom et a déclaré qu'il coopérait à l'enquête. L'entreprise affirme qu'elle a mis en place des politiques strictes pour interdire la génération de contenus préjudiciables et qu'elle travaille activement à améliorer ses mesures de sécurité en matière d'IA.

"Nous prenons ces allégations très au sérieux et nous nous engageons à faire en sorte que nos modèles d'IA ne soient pas utilisés pour créer ou promouvoir des contenus préjudiciables", a déclaré un représentant de X. "Nous affinons constamment nos protocoles de sécurité et travaillons avec des experts pour identifier et atténuer les risques potentiels."

L'incident met en évidence le défi plus large que représente la réglementation des technologies d'IA et la nécessité de veiller à ce qu'elles soient utilisées de manière responsable. À mesure que les modèles d'IA deviennent plus sophistiqués, il est de plus en plus important de mettre au point des mécanismes efficaces pour détecter et prévenir leur utilisation abusive. Cela comprend non seulement des solutions techniques, telles que des filtres de contenu et des algorithmes de détection, mais aussi des cadres réglementaires qui tiennent les entreprises responsables de la sécurité de leurs systèmes d'IA.

L'enquête est en cours et l'Ofcom a le pouvoir d'infliger des amendes importantes à X s'il constate que l'entreprise n'a pas suffisamment protégé les utilisateurs contre les contenus préjudiciables. L'issue de l'enquête pourrait avoir des implications importantes pour la réglementation des technologies d'IA au Royaume-Uni et au-delà. Le régulateur devrait publier ses conclusions dans les prochains mois.