Después de que Elon Musk promocionara la función de "desnudar" de Grok en X, antes Twitter, periodistas y defensores ahora están lidiando con las posibles ramificaciones legales para las víctimas que buscan que se eliminen las imágenes falsas de desnudos generadas por la plataforma de IA. La controversia surge de la respuesta tardía de xAI al restringir las capacidades de generación de imágenes de Grok y la reticencia inicial de las tiendas de aplicaciones a limitar el acceso a la aplicación.

Las estimaciones sugieren que millones de personas pueden haber sido afectadas en los días posteriores a la publicación de Musk, que presentaba una foto de sí mismo en bikini. El Centro para Contrarrestar el Odio Digital (CCDH) publicó una investigación el jueves que estima que Grok sexualizó más de 3 millones de imágenes en solo 11 días después de la publicación de Musk, incluidas 23,000 imágenes de niños. Si bien la metodología de CCDH no analizó las indicaciones para determinar si las imágenes ya estaban sexualizadas, The New York Times corroboró el informe con su propio análisis, estimando de manera conservadora que aproximadamente el 41 por ciento de los 4.4 millones de imágenes generadas por Grok entre el 31 de diciembre y el 8 de enero sexualizaron a hombres, mujeres y niños.

El incidente ha atraído el escrutinio tanto a xAI como a X, al tiempo que contribuye a un aumento en la participación de los usuarios de X. El desafío legal surge del requisito potencial para las víctimas que buscan la eliminación de imágenes de demandar en el tribunal elegido por Musk, probablemente en California, donde tiene su sede X. Esto podría presentar obstáculos importantes para las víctimas ubicadas fuera de California debido a problemas jurisdiccionales y los costos asociados con los litigios fuera del estado.

El proceso técnico detrás de la manipulación de imágenes de Grok involucra modelos generativos de IA, que se entrenan en vastos conjuntos de datos de imágenes y texto. Luego, estos modelos pueden ser solicitados para crear nuevas imágenes basadas en la entrada del usuario, incluida la alteración de imágenes existentes para crear "deepfakes" o, en este caso, versiones sexualizadas de fotos originales. El impacto en la industria de este incidente destaca las preocupaciones éticas que rodean el contenido generado por IA y la necesidad de regulaciones y salvaguardas más estrictas para prevenir el uso indebido.

Los detalles del producto con respecto a la función de generación de imágenes de Grok siguen siendo limitados, pero el incidente subraya el potencial de las herramientas de IA para ser explotadas con fines maliciosos. El estado actual de la situación involucra discusiones en curso entre xAI, grupos de defensa y expertos legales para determinar el mejor curso de acción para abordar el daño causado por las acciones de Grok. Los desarrollos futuros pueden incluir cambios de política por parte de xAI, desafíos legales de las víctimas y una mayor supervisión regulatoria de las plataformas impulsadas por IA.