X, antes Twitter, implementó nuevas restricciones el miércoles por la noche con el objetivo de prevenir la generación de imágenes que representen a personas reales en ropa reveladora utilizando su generador de imágenes Grok AI. El cambio de política se produjo tras las críticas generalizadas sobre el uso de Grok para crear fotos "desnudando" a mujeres sin su consentimiento e imágenes sexualizadas de menores en la plataforma.

Sin embargo, aunque X parece haber introducido medidas de seguridad dentro de su propia plataforma, la aplicación y el sitio web independientes de Grok siguen generando tipos de imágenes similares, según pruebas realizadas por investigadores, WIRED y otros periodistas. Algunos usuarios también informaron haber experimentado limitaciones en su capacidad para crear imágenes y videos en comparación con las capacidades anteriores.

Paul Bouchaud, el investigador principal de AI Forensics, una organización sin fines de lucro con sede en París, declaró que la organización aún podía generar desnudos fotorrealistas en Grok.com. "Podemos generar desnudos de maneras que Grok en X no puede", dijo Bouchaud, señalando que había estado rastreando el uso de Grok para crear imágenes sexualizadas y realizó múltiples pruebas en la plataforma fuera de X. Añadió: "Podría subir una imagen en Grok Imagine y pedir que pongan a la persona en bikini, y funciona".

La discrepancia destaca los desafíos en la implementación de salvaguardas integrales en diferentes plataformas e interfaces que utilizan la misma tecnología de IA. Las capacidades de generación de imágenes de Grok se basan en algoritmos complejos que pueden ser difíciles de controlar y monitorear de manera efectiva. La tecnología utiliza modelos de difusión, que se entrenan con vastos conjuntos de datos de imágenes y texto, lo que les permite generar nuevas imágenes basadas en las indicaciones del usuario. Sin embargo, esto también significa que los modelos pueden ser explotados para crear contenido dañino o inapropiado si no se regulan adecuadamente.

La introducción de restricciones en X representa un paso inicial para abordar el problema de las imágenes sexualizadas generadas por IA. Sin embargo, la continua disponibilidad de dicho contenido en la plataforma independiente de Grok plantea preocupaciones sobre la efectividad de estas medidas. El incidente subraya la necesidad de un monitoreo continuo, el perfeccionamiento de los protocolos de seguridad y la colaboración entre empresas de tecnología, investigadores y formuladores de políticas para mitigar los posibles daños asociados con la generación de imágenes por IA. El impacto en la industria podría incluir un mayor escrutinio de las herramientas impulsadas por IA y un impulso para regulaciones más estrictas para prevenir el uso indebido.