El Fiscal General de California, Rob Bonta, emitió el viernes una carta de cese y desistimiento a xAI, exigiendo que la empresa detenga inmediatamente la creación y distribución de deepfakes, imágenes íntimas no consentidas y material de abuso sexual infantil (CSAM). La acción sigue a un anuncio anterior de esta semana en el que se informaba que la oficina del Fiscal General de California estaba investigando a xAI, la startup de inteligencia artificial de Elon Musk, por informes de que su chatbot, Grok, estaba siendo utilizado para generar imágenes sexuales no consentidas de mujeres y menores.

La oficina del Fiscal General alega que xAI está facilitando la producción a gran escala de desnudos no consentidos, que luego se utilizan para acosar a mujeres y niñas en línea. "Hoy, envié a xAI una carta de cese y desistimiento, exigiendo que la empresa detenga inmediatamente la creación y distribución de deepfakes, imágenes íntimas no consentidas y material de abuso sexual infantil", dijo Bonta en un comunicado de prensa. "La creación de este material es ilegal. Espero plenamente que xAI cumpla de inmediato. California tiene tolerancia cero con el CSAM".

La agencia ha dado a xAI cinco días para demostrar las medidas que está tomando para abordar estos problemas. En el centro de la controversia se encuentra la función de "modo picante" de Grok, que xAI creó para permitir respuestas más desinhibidas y potencialmente controvertidas de la IA.

Los deepfakes, o medios sintéticos, utilizan la inteligencia artificial, específicamente técnicas de aprendizaje profundo, para crear imágenes, audio y video realistas pero fabricados. La tecnología plantea importantes preocupaciones éticas, particularmente cuando se utiliza para generar pornografía no consentida o para difundir desinformación. La relativa facilidad con la que se pueden crear y difundir estas imágenes en línea plantea un desafío importante para las fuerzas del orden y los esfuerzos de moderación de contenido.

La investigación sobre xAI destaca las crecientes preocupaciones en torno al posible uso indebido de las tecnologías de IA y la responsabilidad de los desarrolladores de IA de prevenir daños. A medida que los modelos de IA se vuelven más sofisticados y accesibles, aumenta el riesgo de que actores maliciosos los exploten con fines nefastos. Este incidente subraya la necesidad de salvaguardias sólidas y directrices éticas para regir el desarrollo y la implementación de los sistemas de IA.

La oficina del Fiscal General de California aún no ha publicado detalles sobre la evidencia específica que ha reunido para respaldar sus acusaciones contra xAI. xAI aún no ha emitido una declaración pública en respuesta a la carta de cese y desistimiento. Los próximos pasos probablemente involucrarán a xAI proporcionando una respuesta a la oficina del Fiscal General dentro del período estipulado de cinco días, describiendo las medidas que está tomando para abordar las preocupaciones planteadas. La oficina del Fiscal General luego evaluará la respuesta de xAI y determinará si es necesaria alguna otra acción.