El Fiscal General de California, Rob Bonta, emitió el viernes una carta de cese y desistimiento a xAI, exigiendo que la compañía detenga de inmediato la creación y distribución de imágenes íntimas deepfake no consentidas y material de abuso sexual infantil (CSAM). La acción sigue a un anuncio anterior de la oficina del fiscal general de que estaba investigando a xAI, la startup de inteligencia artificial de Elon Musk, por informes de que su chatbot, Grok, estaba siendo utilizado para generar imágenes sexuales no consentidas de mujeres y menores.

Bonta declaró en un comunicado de prensa: "Hoy, envié a xAI una carta de cese y desistimiento, exigiendo que la compañía detenga de inmediato la creación y distribución de imágenes íntimas deepfake no consentidas y material de abuso sexual infantil. La creación de este material es ilegal. Espero plenamente que xAI cumpla de inmediato. California tiene tolerancia cero para el CSAM".

La oficina del fiscal general también afirmó que xAI parecía estar facilitando la producción a gran escala de desnudos no consentidos, que supuestamente se estaban utilizando para acosar a mujeres y niñas en línea. La agencia espera que xAI demuestre en un plazo de cinco días las medidas que está tomando para abordar estos problemas.

En el centro de la controversia se encuentra la función de "modo picante" de Grok, que xAI creó para permitir respuestas más no filtradas y potencialmente provocativas del chatbot de IA. Esta función, aunque destinada a proporcionar una experiencia de usuario más atractiva, aparentemente ha abierto la puerta a la creación de contenido dañino e ilegal.

Los deepfakes, que son medios sintéticos generados por IA, se han vuelto cada vez más sofisticados, lo que genera preocupación sobre su potencial uso indebido. La tecnología permite la creación de imágenes y videos de aspecto realista pero totalmente fabricados, lo que dificulta distinguir entre lo que es real y lo que no lo es. Esto plantea desafíos importantes para las fuerzas del orden y los esfuerzos de moderación de contenido.

Las implicaciones legales de crear y distribuir pornografía deepfake, particularmente involucrando a menores, son graves. Tales acciones pueden constituir violaciones de las leyes de pornografía infantil, así como de las leyes contra el acoso sexual y la difamación. El uso de la IA para generar imágenes íntimas no consentidas también plantea cuestiones éticas sobre la responsabilidad de los desarrolladores de IA de prevenir el uso indebido de su tecnología.

xAI aún no ha emitido una declaración pública en respuesta a la carta de cese y desistimiento. La compañía ahora enfrenta el desafío de demostrar su compromiso de prevenir la creación y distribución de contenido dañino generado por su modelo de IA. La oficina del Fiscal General de California está esperando la respuesta de xAI y la evidencia de medidas correctivas en los próximos cinco días. Este caso destaca la creciente necesidad de salvaguardias y regulaciones sólidas para abordar los posibles daños asociados con las tecnologías avanzadas de IA.