Varios senadores estadounidenses están exigiendo respuestas de las principales empresas tecnológicas, incluidas X, Meta, Alphabet, Snap, Reddit y TikTok, con respecto a sus estrategias para combatir la proliferación de deepfakes sexualizados en sus plataformas. En una carta dirigida a los líderes de estas empresas, los senadores solicitaron pruebas de protecciones y políticas sólidas diseñadas para frenar el aumento de imágenes no consensuadas generadas por IA.

Los senadores también exigieron que las empresas conserven todos los documentos e información relacionados con la creación, detección, moderación y monetización de imágenes sexualizadas generadas por IA, junto con cualquier política relacionada. Esta demanda se produce tras los informes que destacan la facilidad con la que los modelos de IA, como Grok, se han utilizado para generar imágenes explícitas de mujeres y niños.

La carta se envió horas después de que X anunciara actualizaciones de su modelo de IA Grok, prohibiéndole crear ediciones de personas reales con ropa reveladora. X también restringió la creación y edición de imágenes a través de Grok a los suscriptores de pago. X y xAI forman parte de la misma empresa.

Los senadores enfatizaron que las salvaguardias de la plataforma contra las imágenes sexualizadas no consensuadas pueden ser insuficientes, incluso con las políticas existentes contra las imágenes íntimas no consensuadas y la explotación sexual. Los senadores señalaron los informes de los medios de comunicación sobre la facilidad y la frecuencia con la que Grok generaba imágenes sexualizadas y de desnudos de mujeres y niños.

Los deepfakes, que son medios sintéticos generados por IA en los que la imagen o el vídeo de una persona existente se reemplaza por la apariencia de otra persona, han suscitado importantes preocupaciones sobre su posible uso indebido, en particular en la creación de pornografía no consensuada y la difusión de desinformación. La tecnología se basa en técnicas avanzadas de aprendizaje automático, como el aprendizaje profundo, para analizar y replicar la apariencia y la voz de una persona.

La investigación de los senadores subraya la creciente presión sobre las empresas tecnológicas para que aborden las implicaciones éticas y sociales del contenido generado por la IA. La demanda de documentación sobre las estrategias de detección y moderación sugiere un enfoque en los desafíos técnicos de identificar y eliminar los deepfakes de las plataformas en línea. Las prácticas de monetización relacionadas con dicho contenido también están bajo escrutinio, lo que refleja la preocupación por los incentivos financieros que pueden contribuir a su difusión.

Es probable que la respuesta de estas empresas tecnológicas implique detallar sus sistemas actuales de moderación de contenido de IA, que a menudo emplean una combinación de herramientas automatizadas y revisores humanos. Estos sistemas suelen basarse en algoritmos entrenados para detectar patrones y características asociados con los deepfakes, como inconsistencias en la iluminación, movimientos faciales antinaturales y otros signos reveladores de manipulación.

La solicitud de información de los senadores también destaca el debate en curso sobre el equilibrio entre la libertad de expresión y la necesidad de proteger a las personas de los daños causados por el contenido generado por la IA. A medida que la tecnología de la IA continúa avanzando, los responsables políticos y las empresas tecnológicas se enfrentan al desafío de desarrollar regulaciones y salvaguardias eficaces que puedan mitigar los riesgos asociados con los deepfakes, preservando al mismo tiempo los beneficios de la innovación en la IA. El resultado de esta investigación podría influir en la legislación futura y en los estándares de la industria relacionados con la moderación de contenido de IA y la prevención del abuso de imágenes no consensuadas.