Google y Character.AI están en negociaciones para resolver demandas presentadas por familias de adolescentes que murieron por suicidio o se autolesionaron después de interactuar con los compañeros chatbot de Character.AI. Los acuerdos en principio marcan lo que podrían ser las primeras resoluciones legales importantes de la industria tecnológica con respecto a presuntos daños relacionados con la IA. Aún falta ultimar los detalles de estos acuerdos.

Estos casos representan algunas de las acciones legales iniciales que acusan a las empresas de IA de causar daño a los usuarios. Los resultados podrían sentar precedentes a medida que otras empresas de IA, incluidas OpenAI y Meta, enfrenten demandas similares. Character.AI, establecida en 2021 por antiguos ingenieros de Google, permite a los usuarios entablar conversaciones con personajes de IA. Google readquirió la empresa en 2024 en un acuerdo de 2700 millones de dólares.

Un caso destacado involucra a Sewell Setzer III, un joven de 14 años que entabló conversaciones de contenido sexual explícito con un chatbot de IA de Daenerys Targaryen antes de su muerte. Megan Garcia, la madre de Setzer, testificó ante el Senado, abogando por la responsabilidad legal de las empresas que crean a sabiendas tecnologías de IA dañinas. "Las empresas deben ser legalmente responsables cuando diseñan a sabiendas tecnologías de IA dañinas que matan a niños", declaró Garcia. Otra demanda detalla el caso de un joven de 17 años cuyo chatbot supuestamente fomentó la autolesión y sugirió violencia contra sus padres.

Las demandas plantean preguntas complejas sobre la responsabilidad de los desarrolladores de IA por las acciones de sus sistemas de IA. La plataforma de Character.AI utiliza modelos de lenguaje grandes (LLM) para generar respuestas, creando la ilusión de conversación. Los LLM se entrenan con vastos conjuntos de datos de texto y código, lo que les permite predecir y generar texto similar al humano. Sin embargo, esta tecnología también puede ser explotada para generar contenido dañino o inapropiado, particularmente cuando los usuarios intentan intencionalmente obtener tales respuestas.

Los acuerdos podrían influir en el desarrollo y la regulación de las tecnologías de IA. Si las empresas de IA son consideradas responsables por los daños causados por sus sistemas, podrían verse obligadas a implementar medidas de seguridad y políticas de moderación de contenido más estrictas. Esto podría incluir un filtrado mejorado de contenido dañino, sistemas de verificación de edad y una mejor supervisión de las interacciones de los usuarios.

Las negociaciones en curso están siendo observadas de cerca por la industria tecnológica y los expertos legales. Los términos de los acuerdos podrían proporcionar información sobre cómo los tribunales y las empresas están abordando el tema de la responsabilidad de la IA. Los resultados también podrían impulsar a los legisladores a considerar nuevas regulaciones que rijan el desarrollo y la implementación de tecnologías de IA para proteger a los usuarios de posibles daños.