El Fiscal General de California, Rob Bonta, emitió el viernes una carta de cese y desistimiento a xAI, exigiendo que la empresa detenga de inmediato la creación y distribución de imágenes íntimas deepfake no consentidas y material de abuso sexual infantil (CSAM). La acción sigue a un anuncio anterior de esta semana de que la oficina del fiscal general de California estaba investigando a xAI, la empresa de inteligencia artificial de Elon Musk, por informes de que su chatbot, Grok, estaba siendo utilizado para generar imágenes sexuales no consentidas de mujeres y menores.

Bonta declaró en un comunicado de prensa: "Hoy, envié a xAI una carta de cese y desistimiento, exigiendo que la empresa detenga de inmediato la creación y distribución de imágenes íntimas deepfake no consentidas y material de abuso sexual infantil. La creación de este material es ilegal. Espero plenamente que xAI cumpla de inmediato. California tiene tolerancia cero con el CSAM".

La oficina del fiscal general también afirmó que xAI parecía estar facilitando la producción a gran escala de desnudos no consentidos, que supuestamente se están utilizando para acosar a mujeres y niñas en línea. La agencia espera que xAI demuestre en un plazo de cinco días las medidas que está tomando para abordar estos problemas.

En el centro de la controversia se encuentra la función de "modo picante" de Grok, que xAI creó para permitir respuestas más no filtradas y potencialmente provocativas de la IA. Esta función, aunque destinada a ofrecer una experiencia de usuario más atractiva, aparentemente ha abierto la puerta a la generación de contenido dañino e ilegal.

Los deepfakes, medios sintéticos generados por IA que pueden representar de manera convincente a personas haciendo o diciendo cosas que nunca hicieron, se han convertido en una preocupación creciente. La tecnología plantea importantes cuestiones éticas y legales, particularmente cuando se utiliza para crear pornografía no consentida o para difundir información errónea. La relativa facilidad con la que se pueden crear y difundir estas imágenes en línea amplifica el potencial de daño.

La investigación y la posterior orden de cese y desistimiento resaltan los desafíos de regular las tecnologías de IA que evolucionan rápidamente. Si bien la IA ofrece numerosos beneficios, también presenta riesgos que requieren una cuidadosa consideración y medidas proactivas para mitigarlos. El caso subraya la necesidad de que los desarrolladores de IA prioricen la seguridad y las consideraciones éticas en sus procesos de diseño e implementación.

xAI aún no ha respondido públicamente a la orden de cese y desistimiento. La empresa ahora se enfrenta a la tarea de demostrar a la oficina del Fiscal General de California que está tomando medidas concretas para evitar el uso indebido de su tecnología y para proteger a las personas de la creación y distribución de imágenes deepfake no consentidas. El resultado de este caso podría sentar un precedente sobre cómo se responsabiliza a las empresas de IA por el posible uso indebido de sus tecnologías.