El Fiscal General de California, Rob Bonta, emitió el viernes una carta de cese y desistimiento a xAI, exigiendo que la empresa detenga inmediatamente la creación y distribución de imágenes íntimas deepfake no consentidas y material de abuso sexual infantil (CSAM). La acción sigue a un anuncio anterior de la oficina del fiscal general de que estaba investigando a xAI, la startup de inteligencia artificial de Elon Musk, por informes de que su chatbot, Grok, estaba siendo utilizado para generar imágenes sexuales no consentidas de mujeres y menores.

Bonta declaró en un comunicado de prensa: "Hoy, envié a xAI una carta de cese y desistimiento, exigiendo que la empresa detenga inmediatamente la creación y distribución de imágenes íntimas deepfake no consentidas y material de abuso sexual infantil. La creación de este material es ilegal. Espero plenamente que xAI cumpla de inmediato. California tiene tolerancia cero con el CSAM".

La oficina del fiscal general afirmó además que xAI parecía estar facilitando la producción a gran escala de desnudos no consentidos, que supuestamente se estaban utilizando para acosar a mujeres y niñas en línea. La agencia espera que xAI demuestre en un plazo de cinco días las medidas que está tomando para abordar estos problemas.

En el centro de la controversia se encuentra la función de "modo picante" de Grok, que xAI creó para permitir respuestas más desinhibidas y potencialmente controvertidas de la IA. Esta función, aunque destinada a ampliar los límites de la interacción con la IA, aparentemente ha abierto la puerta a la creación de contenido dañino e ilegal.

Los deepfakes, un tipo de medio sintético, utilizan la inteligencia artificial, específicamente técnicas de aprendizaje profundo, para crear imágenes, audio y video realistas pero fabricados. La tecnología plantea importantes preocupaciones éticas, particularmente cuando se utiliza para generar pornografía no consentida o difundir desinformación. La relativa facilidad con la que se pueden crear y difundir deepfakes en línea ha amplificado el potencial de daño, lo que hace que sea cada vez más difícil distinguir entre contenido auténtico y manipulado.

La oficina del Fiscal General de California exige que xAI proporcione evidencia de sus esfuerzos para mitigar el uso indebido de su tecnología. La investigación destaca el creciente escrutinio regulatorio en torno al desarrollo y la implementación de la IA, particularmente en lo que respecta al potencial de uso indebido y la necesidad de salvaguardias sólidas para proteger a las personas de daños. El caso también subraya los desafíos que enfrentan las empresas de IA para equilibrar la innovación con las consideraciones éticas y el cumplimiento legal. Los próximos pasos probablemente involucrarán la respuesta de xAI a la carta de cese y desistimiento y la evaluación del fiscal general de las soluciones propuestas por la empresa.