Google und Character.AI haben einen Rechtsstreit beigelegt, in dem behauptet wurde, ihre KI-Chatbots hätten zum Selbstmord eines Teenagers beigetragen. Die Vereinbarung, die in einem am Mittwoch eingereichten Schriftsatz bekannt gegeben wurde, beendet einen Fall, der von Megan L. Garcia vor dem U.S. District Court in Florida eingebracht wurde. Ihr Sohn, der 14-jährige Sewell Setzer III, starb im Februar 2024 durch Suizid, nachdem er mit einem Character.AI-Chatbot interagiert hatte.

Im Mittelpunkt der im Oktober 2024 eingereichten Klage standen die Antworten des Chatbots an Sewell. In ihrem letzten Austausch forderte der Bot ihn auf, "nach Hause zu kommen" und nannte ihn "meinen süßen König". Diese Einigung ist eine von fünf, die diese Woche in Florida, Texas und Colorado erzielt wurden.

Die unmittelbare Auswirkung ist wahrscheinlich eine verstärkte Überprüfung der Sicherheitsprotokolle von KI-Chatbots. Sowohl Google als auch Character.AI stehen unter zunehmendem Druck, sicherzustellen, dass ihre KI-Modelle kein schädliches Verhalten fördern. Beide Unternehmen haben keine Stellungnahme abgegeben.

Character.AI bietet Nutzern die Möglichkeit, KI-"Charaktere" zu erstellen und mit ihnen zu interagieren. Diese Charaktere lernen aus den Interaktionen der Nutzer, was Bedenken hinsichtlich möglicher Manipulationen und der Verschwimmung der Realität für gefährdete Personen aufwirft. Die Technologie basiert auf großen Sprachmodellen, komplexen Algorithmen, die menschenähnlichen Text erzeugen können.

Die Bedingungen der Einigung sind vertraulich. Das Gericht muss der Vereinbarung nun zustimmen. Weitere Klagen gegen KI-Unternehmen bezüglich der Nutzersicherheit werden erwartet.