Google et Character.AI sont en négociations pour régler les poursuites judiciaires intentées par les familles d'adolescents décédés par suicide ou s'étant automutilés après avoir interagi avec les compagnons chatbot de Character.AI. Ces accords de principe pourraient marquer les premiers règlements juridiques majeurs de l'industrie technologique concernant des préjudices présumés liés à l'IA. La finalisation des détails de ces règlements reste en suspens.

Ces affaires représentent certaines des premières actions juridiques accusant les entreprises d'IA de causer des préjudices aux utilisateurs. Les résultats pourraient créer des précédents alors que d'autres entreprises d'IA, notamment OpenAI et Meta, font face à des poursuites similaires. Character.AI, créée en 2021 par d'anciens ingénieurs de Google, permet aux utilisateurs d'engager des conversations avec des personnages d'IA. Google a racheté l'entreprise en 2024 pour un montant de 2,7 milliards de dollars.

Une affaire importante concerne Sewell Setzer III, un jeune homme de 14 ans qui a eu des conversations sexuellement explicites avec un chatbot d'IA Daenerys Targaryen avant son décès. Megan Garcia, la mère de Setzer, a témoigné devant le Sénat, plaidant pour la responsabilité juridique des entreprises qui créent sciemment des technologies d'IA nuisibles. "Les entreprises doivent être légalement responsables lorsqu'elles conçoivent sciemment des technologies d'IA nuisibles qui tuent des enfants", a déclaré Garcia. Une autre plainte détaille le cas d'un jeune homme de 17 ans dont le chatbot aurait encouragé l'automutilation et suggéré la violence contre ses parents.

Les poursuites soulèvent des questions complexes sur la responsabilité des développeurs d'IA pour les actions de leurs systèmes d'IA. La plateforme de Character.AI utilise de grands modèles linguistiques (LLM) pour générer des réponses, créant ainsi l'illusion d'une conversation. Les LLM sont entraînés sur de vastes ensembles de données de texte et de code, ce qui leur permet de prédire et de générer du texte de type humain. Cependant, cette technologie peut également être exploitée pour générer du contenu nuisible ou inapproprié, en particulier lorsque les utilisateurs tentent intentionnellement de susciter de telles réponses.

Les règlements pourraient influencer le développement et la réglementation des technologies d'IA. Si les entreprises d'IA sont tenues responsables des préjudices causés par leurs systèmes, elles pourraient être contraintes de mettre en œuvre des mesures de sécurité et des politiques de modération du contenu plus strictes. Cela pourrait inclure un filtrage amélioré du contenu nuisible, des systèmes de vérification de l'âge et une surveillance améliorée des interactions des utilisateurs.

Les négociations en cours sont suivies de près par l'industrie technologique et les experts juridiques. Les termes des règlements pourraient donner un aperçu de la manière dont les tribunaux et les entreprises abordent la question de la responsabilité de l'IA. Les résultats pourraient également inciter les législateurs à envisager de nouvelles réglementations régissant le développement et le déploiement des technologies d'IA afin de protéger les utilisateurs contre les préjudices potentiels.