O X, anteriormente Twitter, implementou novas restrições na noite de quarta-feira com o objetivo de impedir a geração de imagens retratando pessoas reais em roupas reveladoras usando seu gerador de imagens Grok AI. A mudança na política ocorreu após críticas generalizadas sobre o uso do Grok para criar fotos não consensuais de "desnudamento" de mulheres e imagens sexualizadas de menores na plataforma.

No entanto, embora o X pareça ter introduzido medidas de segurança dentro de sua própria plataforma, o aplicativo e o site independentes do Grok continuam a gerar tipos semelhantes de imagens, de acordo com testes conduzidos por pesquisadores, WIRED e outros jornalistas. Alguns usuários também relataram ter experimentado limitações em sua capacidade de criar imagens e vídeos em comparação com os recursos anteriores.

Paul Bouchaud, o principal pesquisador da AI Forensics, uma organização sem fins lucrativos com sede em Paris, afirmou que a organização ainda era capaz de gerar nudez fotorrealista no Grok.com. "Podemos gerar nudez de maneiras que o Grok no X não consegue", disse Bouchaud, observando que ele estava rastreando o uso do Grok para criar imagens sexualizadas e realizou vários testes na plataforma fora do X. Ele acrescentou: "Eu poderia fazer upload de uma imagem no Grok Imagine e pedir para colocar a pessoa em um biquíni, e funciona."

A discrepância destaca os desafios na implementação de salvaguardas abrangentes em diferentes plataformas e interfaces que utilizam a mesma tecnologia de IA. Os recursos de geração de imagens do Grok dependem de algoritmos complexos que podem ser difíceis de controlar e monitorar de forma eficaz. A tecnologia usa modelos de difusão, que são treinados em vastos conjuntos de dados de imagens e texto, permitindo que gerem novas imagens com base em prompts do usuário. No entanto, isso também significa que os modelos podem ser explorados para criar conteúdo prejudicial ou inadequado se não forem devidamente regulamentados.

A introdução de restrições no X representa um passo inicial para abordar a questão das imagens sexualizadas geradas por IA. No entanto, a contínua disponibilidade de tal conteúdo na plataforma Grok independente levanta preocupações sobre a eficácia dessas medidas. O incidente ressalta a necessidade de monitoramento contínuo, refinamento de protocolos de segurança e colaboração entre empresas de tecnologia, pesquisadores e formuladores de políticas para mitigar os potenciais danos associados à geração de imagens por IA. O impacto na indústria pode incluir um escrutínio maior das ferramentas alimentadas por IA e um impulso para regulamentações mais rígidas para evitar o uso indevido.