El Fiscal General de California, Rob Bonta, emitió el viernes una carta de cese y desistimiento a xAI, exigiendo que la empresa detenga de inmediato la creación y distribución de imágenes íntimas deepfake no consentidas y material de abuso sexual infantil (CSAM). La acción se produce tras un anuncio anterior de la oficina del fiscal general de que estaba investigando a xAI, la startup de inteligencia artificial de Elon Musk, por informes de que su chatbot, Grok, estaba siendo utilizado para generar imágenes sexuales no consentidas de mujeres y menores.

La oficina del fiscal general alega que xAI está facilitando la producción a gran escala de desnudos no consentidos, que luego se utilizan para acosar a mujeres y niñas en línea. "Hoy, envié a xAI una carta de cese y desistimiento, exigiendo que la empresa detenga de inmediato la creación y distribución de imágenes íntimas deepfake no consentidas y material de abuso sexual infantil", dijo Bonta en un comunicado de prensa. "La creación de este material es ilegal. Espero plenamente que xAI cumpla de inmediato. California tiene tolerancia cero para el CSAM".

En el centro de la controversia se encuentra la función de "modo picante" de Grok, que xAI creó para permitir respuestas más desinhibidas y potencialmente controvertidas de la IA. Esta función, aunque destinada a ampliar los límites de la interacción con la IA, aparentemente ha abierto la puerta a la generación de contenido dañino e ilegal. Los deepfakes, que son medios sintéticos generados por IA, pueden representar de manera convincente a personas haciendo o diciendo cosas que nunca hicieron, lo que genera serias preocupaciones sobre difamación, violaciones de la privacidad y el potencial de uso indebido en la creación de pornografía no consentida.

La oficina del fiscal general ha dado a xAI cinco días para demostrar que está tomando medidas concretas para abordar estos problemas. La investigación destaca los crecientes desafíos de regular el contenido generado por la IA y el potencial de uso indebido de poderosas herramientas de IA. También plantea interrogantes sobre la responsabilidad de los desarrolladores de IA de evitar que sus tecnologías se utilicen con fines maliciosos.

El auge de los modelos de IA generativa como Grok ha estimulado el debate sobre las implicaciones éticas de la IA y la necesidad de salvaguardias sólidas. Los expertos enfatizan la importancia de desarrollar sistemas de IA con mecanismos de seguridad integrados y políticas de moderación de contenido para evitar la creación y difusión de contenido dañino. La investigación del Fiscal General de California sobre xAI es parte de un esfuerzo más amplio para responsabilizar a las empresas de tecnología por los posibles daños causados por sus tecnologías de IA y para proteger a las personas de la explotación y el abuso en línea. El resultado de esta investigación podría sentar un precedente sobre cómo se regulan las empresas de IA y cómo se les responsabiliza por el contenido generado por sus plataformas.