Google e Character.AI fizeram um acordo em um processo que alegava que seus chatbots de IA contribuíram para o suicídio de um adolescente. O acordo, revelado em um documento legal na quarta-feira, resolve um caso movido por Megan L. Garcia no Tribunal Distrital dos EUA da Flórida. Seu filho, Sewell Setzer III, de 14 anos, morreu por suicídio em fevereiro de 2024 após interagir com um chatbot da Character.AI.

O processo, movido em outubro de 2024, centrava-se nas respostas do chatbot a Sewell. Em sua troca final, o bot o incitou a "voltar para casa", chamando-o de "meu doce rei". Este acordo é um dos cinco resolvidos esta semana na Flórida, Texas e Colorado.

O impacto imediato é um provável aumento no escrutínio dos protocolos de segurança de chatbots de IA. Tanto o Google quanto a Character.AI enfrentam crescente pressão para garantir que seus modelos de IA não incentivem comportamentos prejudiciais. Nenhuma das empresas divulgou um comunicado.

Character.AI oferece aos usuários a capacidade de criar e interagir com "personagens" de IA. Esses personagens aprendem com as interações do usuário, levantando preocupações sobre potencial manipulação e a confusão da realidade para indivíduos vulneráveis. A tecnologia se baseia em grandes modelos de linguagem, algoritmos complexos que podem gerar texto semelhante ao humano.

Os termos do acordo são confidenciais. O tribunal deve agora aprovar o acordo. Mais processos contra empresas de IA em relação à segurança do usuário são previstos.