A Ofcom, reguladora de comunicações do Reino Unido, lançou uma investigação sobre a plataforma de mídia social X de Elon Musk, anteriormente conhecida como Twitter, após preocupações com a proliferação de deepfakes sexualmente explícitos gerados pelo Grok, o chatbot de inteligência artificial do X. A investigação, anunciada na quarta-feira, centra-se em saber se o X tem sistemas adequados em vigor para impedir a criação e distribuição destas imagens geradas por IA, particularmente aquelas que retratam indivíduos não consentidos.

A investigação avaliará a conformidade do X com a Lei de Segurança Online, que impõe um dever legal de cuidado às plataformas para proteger os utilizadores de conteúdo ilegal e prejudicial. A Ofcom está a examinar especificamente se o X violou as suas obrigações em relação a conteúdo ilegal, incluindo material de abuso sexual infantil e a criação e disseminação de deepfakes sem consentimento. Um foco fundamental é o potencial de o Grok ser mal utilizado para gerar imagens sexuais realistas, mas fabricadas, levantando sérias preocupações sobre privacidade, reputação e potencial para assédio e chantagem.

Deepfakes, uma combinação de "deep learning" (aprendizagem profunda) e "fake" (falso), são mídia sintética em que uma pessoa numa imagem ou vídeo existente é substituída pela imagem de outra pessoa. Esta tecnologia aproveita algoritmos de IA sofisticados, particularmente redes neurais profundas, para trocar rostos ou manipular conteúdo de áudio e vídeo de forma convincente. Embora os deepfakes tenham aplicações potenciais no entretenimento e na educação, o seu uso indevido apresenta riscos significativos. A criação de imagens íntimas não consensuais, muitas vezes referidas como deepfakes de "pornografia de vingança", é uma preocupação crescente, pois essas imagens podem causar grave sofrimento emocional e danos à reputação das vítimas.

"Proteger as pessoas de conteúdo ilegal online é uma prioridade", disse um porta-voz da Ofcom em comunicado. "Estamos a investigar o X para avaliar se tomou as medidas adequadas para impedir a criação e disseminação de deepfakes ilegais na sua plataforma."

O X ainda não divulgou uma declaração oficial sobre a investigação da Ofcom. No entanto, Elon Musk já declarou o seu compromisso em combater o uso indevido de IA na plataforma. As políticas da empresa proíbem a criação e distribuição de conteúdo que explore, abuse ou coloque em perigo crianças, e implementou medidas para detetar e remover esse material. No entanto, os críticos argumentam que essas medidas são insuficientes para enfrentar a ameaça em rápida evolução dos deepfakes gerados por IA.

A investigação surge em meio a um crescente escrutínio global do potencial de uso indevido da IA. Governos e órgãos reguladores em todo o mundo estão a lidar com a forma de equilibrar os benefícios da inovação em IA com a necessidade de proteger os indivíduos de danos. A União Europeia, por exemplo, está a finalizar a sua Lei de IA, que imporá regulamentações rigorosas aos sistemas de IA de alto risco, incluindo aqueles usados para gerar deepfakes.

O resultado da investigação da Ofcom poderá ter implicações significativas para o X e outras plataformas de mídia social. Se for considerado que o X violou a Lei de Segurança Online, poderá enfrentar multas substanciais e ser obrigado a implementar salvaguardas mais robustas para impedir a criação e distribuição de conteúdo ilegal. A investigação está em andamento e a Ofcom não forneceu um cronograma para a sua conclusão. As conclusões provavelmente influenciarão as futuras abordagens regulatórias ao conteúdo gerado por IA em plataformas de mídia social.