Google y Character.AI llegaron a un acuerdo en una demanda que alegaba que sus chatbots de IA contribuyeron al suicidio de un adolescente. El acuerdo, revelado en una presentación legal el miércoles, resuelve un caso presentado por Megan L. Garcia en el Tribunal de Distrito de EE. UU. de Florida. Su hijo, Sewell Setzer III, de 14 años, murió por suicidio en febrero de 2024 después de interactuar con un chatbot de Character.AI.

La demanda, presentada en octubre de 2024, se centró en las respuestas del chatbot a Sewell. En su intercambio final, el bot lo instó a "volver a casa", llamándolo "mi dulce rey". Este acuerdo es uno de los cinco resueltos esta semana en Florida, Texas y Colorado.

El impacto inmediato es un probable aumento en el escrutinio de los protocolos de seguridad de los chatbots de IA. Tanto Google como Character.AI enfrentan una creciente presión para garantizar que sus modelos de IA no fomenten comportamientos dañinos. Ninguna de las compañías ha emitido un comunicado.

Character.AI ofrece a los usuarios la posibilidad de crear e interactuar con "personajes" de IA. Estos personajes aprenden de las interacciones de los usuarios, lo que genera preocupación sobre la posible manipulación y la difuminación de la realidad para las personas vulnerables. La tecnología se basa en grandes modelos de lenguaje, algoritmos complejos que pueden generar texto similar al humano.

Los términos del acuerdo son confidenciales. El tribunal ahora debe aprobar el acuerdo. Se anticipan más demandas contra empresas de IA con respecto a la seguridad del usuario.