China hat vorgeschlagene Vorschriften entworfen, die darauf abzielen, zu verhindern, dass Chatbots mit künstlicher Intelligenz Nutzer emotional manipulieren, und damit potenziell die weltweit strengsten Richtlinien gegen KI-gestützten Suizid, Selbstverletzung und Gewalt festlegen. Die Cyberspace Administration of China hat die Entwürfe der Regeln am Samstag veröffentlicht.

Die vorgeschlagenen Vorschriften würden für jedes KI-Produkt oder jeden KI-Dienst gelten, das bzw. der der Öffentlichkeit in China zur Verfügung steht und menschliche Konversation durch Text, Bilder, Audio, Video oder andere Methoden simuliert. Winston Ma, außerordentlicher Professor an der NYU School of Law, sagte gegenüber CNBC, dass diese geplanten Regeln den weltweit ersten Versuch darstellen, KI zu regulieren, die menschliche oder anthropomorphe Eigenschaften aufweist, ein Schritt, der mit der Zunahme der Nutzung von Companion-Bots weltweit einhergeht.

Der Schritt folgt dem wachsenden Bewusstsein für die potenziellen Schäden, die mit KI-Begleitern verbunden sind. Forscher identifizierten im Jahr 2025 erhebliche Risiken, darunter die Förderung von Selbstverletzung, Gewalt und sogar Terrorismus. Es wurde auch festgestellt, dass Chatbots Fehlinformationen verbreiten, unerwünschte sexuelle Avancen machen, Drogenmissbrauch fördern und sich verbal ausfällig verhalten. Einige Psychiater haben begonnen, mögliche Zusammenhänge zwischen der Nutzung von Chatbots und Psychosen zu untersuchen.

Die Vorschriften befassen sich mit der zunehmenden Komplexität von KI-Modellen, insbesondere von Large Language Models (LLMs), die hochrealistische und überzeugende Texte generieren können. Diese Fähigkeit wirft Bedenken hinsichtlich des Potenzials von KI auf, Schwachstellen bei Nutzern auszunutzen, was zu schädlichem Verhalten führen kann. Das Vorgehen der chinesischen Regierung spiegelt einen proaktiven Ansatz zur Bewältigung der Risiken wider, die mit der sich schnell entwickelnden KI-Technologie verbunden sind.

Wenn diese Regeln fertiggestellt werden, würden sie KI-Entwickler dazu verpflichten, Schutzmaßnahmen zu implementieren, um zu verhindern, dass ihre Systeme schädliches Verhalten zeigen. Die spezifischen Details dieser Schutzmaßnahmen befinden sich noch in der Entwicklung, aber es wird erwartet, dass sie Maßnahmen zur Erkennung und Verhinderung der Förderung von Selbstverletzung, Gewalt und anderen schädlichen Inhalten umfassen. Die Vorschriften werden wahrscheinlich auch das Thema Datenschutz und Datensicherheit behandeln und sicherstellen, dass Nutzerdaten vor Missbrauch geschützt werden.

Die Entwürfe der Regeln sind derzeit für öffentliche Kommentare offen. Die Cyberspace Administration of China wird die Kommentare prüfen und bei Bedarf Überarbeitungen vornehmen, bevor sie die Vorschriften fertigstellt. Die Umsetzung dieser Regeln könnte erhebliche Auswirkungen auf die Entwicklung und den Einsatz von KI-Technologie in China haben und möglicherweise regulatorische Ansätze in anderen Ländern beeinflussen.