X, antes Twitter, ha implementado nuevas restricciones en su plataforma para evitar que los usuarios editen y generen imágenes de personas reales con ropa reveladora, tras las extendidas críticas por el uso de su IA Grok para crear imágenes sexualmente explícitas no consentidas. El cambio de política, introducido el miércoles por la noche, tiene como objetivo abordar las preocupaciones sobre la generación de fotos dañinas de "desnudos" de mujeres e imágenes sexualizadas de aparentes menores.

Sin embargo, si bien X aparentemente ha introducido medidas de seguridad en la generación de imágenes de Grok dentro de su plataforma, pruebas independientes sugieren que la aplicación y el sitio web independientes de Grok aún permiten la creación de tales imágenes. Investigadores, periodistas de WIRED y otros evaluadores informaron haber podido generar imágenes "al estilo de desnudos" y contenido pornográfico a través de la plataforma independiente de Grok. Por el contrario, algunos usuarios han informado de una capacidad reducida para crear imágenes y vídeos en comparación con las capacidades anteriores.

Paul Bouchaud, investigador principal de AI Forensics, una organización sin fines de lucro con sede en París, declaró: "Todavía podemos generar desnudos fotorrealistas en Grok.com... Podemos generar desnudos de maneras que Grok en X no puede". Bouchaud, que ha estado rastreando el uso de Grok para crear imágenes sexualizadas, realizó múltiples pruebas fuera de la plataforma X. Explicó además: "Podría subir una imagen en Grok Imagine y pedir que pongan a la persona en bikini, y funciona".

La discrepancia entre las restricciones en X y las capacidades de Grok independiente destaca los desafíos en la regulación de la tecnología de generación de imágenes con IA. La capacidad de manipular imágenes y crear representaciones realistas de personas en situaciones comprometedoras plantea importantes preocupaciones éticas y legales, particularmente con respecto al consentimiento y el potencial de uso indebido.

La introducción de Grok y herramientas similares de generación de imágenes con IA ha desatado un debate dentro de la industria tecnológica y entre los responsables políticos sobre la necesidad de regulaciones y salvaguardias más estrictas. Los expertos argumentan que los desarrolladores deben priorizar la seguridad y las consideraciones éticas al implementar tales tecnologías, incluyendo la implementación de sistemas robustos de moderación de contenido y mecanismos para prevenir la creación de contenido dañino o de explotación.

El estado actual de las capacidades de generación de imágenes de Grok sigue siendo una preocupación para muchos, ya que el potencial de uso indebido persiste en la plataforma independiente. No está claro qué medidas planea tomar X para abordar el problema actual y garantizar medidas de seguridad consistentes en todas las plataformas de Grok. Se esperan nuevos desarrollos a medida que los investigadores y los grupos de defensa continúen monitoreando la situación e impulsando regulaciones más sólidas.