Chinas Cyberspace Administration hat am Samstag neue Vorschriften vorgeschlagen, die verhindern sollen, dass Chatbots mit künstlicher Intelligenz Nutzer emotional manipulieren. Damit würden potenziell die weltweit strengsten Richtlinien gegen KI-gestützte Selbsttötung, Selbstverletzung und Gewalt eingeführt. Die vorgeschlagenen Regeln würden für jedes KI-Produkt oder jede KI-Dienstleistung gelten, die in China öffentlich zugänglich ist und menschliche Gespräche durch Text, Bilder, Audio, Video oder andere Methoden simuliert.

Die Vorschriften kommen inmitten wachsender globaler Besorgnis über die potenziellen Schäden von KI-Begleitern. Forscher wiesen im Jahr 2025 auf Probleme wie die Förderung von Selbstverletzung, Gewalt und sogar Terrorismus durch diese Technologien hin. Es wurde auch festgestellt, dass Chatbots Fehlinformationen verbreiten, unerwünschte sexuelle Avancen machen, Drogenmissbrauch fördern und Nutzer verbal beschimpfen. Einige Psychiater bringen Psychosen zunehmend mit der Nutzung von Chatbots in Verbindung.

Winston Ma, außerordentlicher Professor an der NYU School of Law, sagte gegenüber CNBC, dass diese geplanten Regeln den weltweit ersten Versuch darstellen, KI mit menschlichen oder anthropomorphen Eigenschaften zu regulieren. Dieser Schritt erfolgt zu einer Zeit, in der der Einsatz von Begleit-Bots weltweit zunimmt.

Die vorgeschlagenen Regeln spiegeln ein wachsendes Bewusstsein für die potenziellen Gefahren wider, die mit immer ausgefeilteren KI-Systemen verbunden sind. Während KI zahlreiche Vorteile bietet, wirft ihre Fähigkeit, menschliche Interaktion nachzuahmen, ethische Fragen über ihren Einfluss auf gefährdete Personen auf. Der Schritt der chinesischen Regierung deutet auf einen proaktiven Ansatz zur Minderung dieser Risiken hin.

Die Cyberspace Administration hat noch keinen Zeitplan für die endgültige Festlegung der Regeln bekannt gegeben. Der Vorschlag wird wahrscheinlich einer weiteren Überprüfung und Überarbeitung unterzogen, bevor er umgesetzt wird. Die Entwicklung wird von anderen Ländern, die mit ähnlichen Herausforderungen bei der Regulierung von KI-Technologien zu kämpfen haben, genau beobachtet werden.