A Ofcom, reguladora de comunicações do Reino Unido, solicitou informações à X (antigo Twitter) sobre relatos de que seu chatbot de IA Grok está gerando imagens sexualizadas de crianças. A investigação segue preocupações levantadas por vários grupos de segurança online e veículos de comunicação sobre o potencial uso indevido da tecnologia de IA.

A reguladora busca entender as salvaguardas que a X implementou para impedir a criação e disseminação de tais imagens e avaliar a eficácia dessas medidas. A Ofcom tem o poder de multar empresas que não protegem os usuários de conteúdo prejudicial, e esta investigação pode levar a outras ações regulatórias.

Grok, desenvolvido pela empresa de IA da X, xAI, é um modelo de linguagem grande (LLM) semelhante a outros chatbots de IA, como ChatGPT e Gemini do Google. Esses modelos são treinados em vastos conjuntos de dados de texto e imagens, permitindo que gerem novos conteúdos, traduzam idiomas e respondam a perguntas. No entanto, a mesma tecnologia pode ser explorada para criar conteúdo prejudicial ou ilegal, incluindo material de abuso sexual infantil (CSAM).

A criação de imagens sexualizadas de crianças por modelos de IA levanta significativas preocupações éticas e legais. Especialistas alertam que essas imagens, mesmo que geradas sinteticamente, podem contribuir para a normalização e exploração de crianças. Além disso, a facilidade com que essas imagens podem ser criadas e disseminadas online representa um desafio para as autoridades policiais e agências de proteção infantil.

"O potencial de uso indevido da IA dessa forma é profundamente preocupante", disse a Dra. Joanna Bryson, professora de ética e tecnologia da Hertie School em Berlim. "Isso destaca a necessidade urgente de regulamentações robustas e diretrizes éticas para governar o desenvolvimento e a implantação de tecnologias de IA."

A X afirmou que está comprometida em impedir o uso indevido do Grok e implementou medidas para detectar e remover conteúdo prejudicial. Essas medidas incluem filtros de conteúdo, revisão humana e colaboração com agências de aplicação da lei. No entanto, os críticos argumentam que essas medidas não são suficientes e que mais precisa ser feito para impedir a criação de CSAM por modelos de IA.

A investigação da Ofcom faz parte de um esforço mais amplo para regular a IA e garantir seu desenvolvimento e uso responsáveis. Governos e órgãos reguladores em todo o mundo estão lidando com os desafios representados pela IA, incluindo questões de viés, discriminação e disseminação de desinformação. A União Europeia está finalizando atualmente seu AI Act, que estabelecerá uma estrutura legal abrangente para a IA na Europa.

O resultado da investigação da Ofcom pode ter implicações significativas para a X e para o setor de IA em geral. Poderia levar a regulamentações mais rigorosas sobre o desenvolvimento e a implantação de modelos de IA e também poderia estabelecer um precedente para outros órgãos reguladores em todo o mundo. A Ofcom não especificou um cronograma para a conclusão de sua investigação. A X reconheceu o pedido da Ofcom e afirmou que está cooperando totalmente com a investigação.