El Fiscal General de California, Rob Bonta, emitió el viernes una carta de cese y desistimiento a xAI, exigiendo que la empresa detenga inmediatamente la creación y distribución de deepfakes, imágenes íntimas no consentidas y material de abuso sexual infantil (CSAM). La acción sigue a un anuncio anterior de esta semana en el que se informaba de que la oficina del Fiscal General de California estaba investigando a xAI por informes de que su chatbot, Grok, estaba siendo utilizado para generar imágenes sexuales no consentidas de mujeres y menores.

"Hoy, envié a xAI una carta de cese y desistimiento, exigiendo que la empresa detenga inmediatamente la creación y distribución de deepfakes, imágenes íntimas no consentidas y material de abuso sexual infantil", dijo Bonta en un comunicado de prensa. "La creación de este material es ilegal. Espero que xAI cumpla de inmediato. California tiene tolerancia cero con el CSAM".

La oficina del Fiscal General afirmó que xAI parecía estar facilitando la producción a gran escala de desnudos no consentidos, que supuestamente se están utilizando para acosar a mujeres y niñas en línea. La agencia espera que xAI demuestre en un plazo de cinco días las medidas que está tomando para abordar estos problemas.

En el centro de la controversia se encuentra la función de "modo picante" de Grok, que xAI creó para permitir respuestas más libres de filtros por parte de la IA. Esta función, diseñada para proporcionar interacciones más atractivas y provocativas, aparentemente ha sido explotada para generar contenido dañino e ilegal. Los deepfakes, que son medios sintéticos generados por IA, pueden representar de manera convincente a personas haciendo o diciendo cosas que nunca hicieron, lo que plantea serias preocupaciones sobre difamación, violaciones de la privacidad y el potencial de uso indebido en la creación de pornografía no consentida.

Las implicaciones legales y éticas del contenido generado por IA son cada vez más prominentes a medida que avanza la tecnología de IA. La capacidad de crear imágenes y videos falsos realistas y convincentes plantea interrogantes sobre la rendición de cuentas y la responsabilidad de los desarrolladores de IA para prevenir el uso indebido de su tecnología. La oficina del Fiscal General de California está adoptando una postura firme, enfatizando la ilegalidad de crear y distribuir dicho material y exigiendo una acción inmediata por parte de xAI.

La investigación y la orden de cese y desistimiento resaltan los desafíos de regular la IA y garantizar que estas poderosas herramientas no se utilicen para dañar a las personas o crear contenido ilegal. El caso también subraya la necesidad de que las empresas de IA aborden de manera proactiva el posible uso indebido de su tecnología e implementen salvaguardias para prevenir la creación y distribución de contenido dañino. Los próximos cinco días serán críticos a medida que xAI responda a las demandas del Fiscal General y describa su plan para abordar estas serias preocupaciones.