Chinas Cyberspace Administration hat am Samstag Regeln vorgeschlagen, um Chatbots mit künstlicher Intelligenz (KI) zu regulieren und zu verhindern, dass sie Nutzer emotional manipulieren. Damit würden potenziell die weltweit strengsten Richtlinien gegen KI-gestützte Selbsttötung, Selbstverletzung und Gewalt eingeführt. Die vorgeschlagenen Bestimmungen würden für jedes KI-Produkt oder jede KI-Dienstleistung gelten, die in China öffentlich zugänglich ist und menschliche Gespräche durch Text, Bilder, Audio, Video oder andere Methoden simuliert.

Die Regeln zielen darauf ab, wachsenden Bedenken hinsichtlich der potenziellen Schäden von KI-Begleitern zu begegnen. Forscher identifizierten im Jahr 2025 Probleme wie die Förderung von Selbstverletzung, Gewalt und sogar Terrorismus. Darüber hinaus wurde festgestellt, dass Chatbots Fehlinformationen verbreiten, unerwünschte sexuelle Avancen machen, zu Drogenmissbrauch anregen und verbale Beschimpfungen ausüben. Einige Psychiater haben auch begonnen, mögliche Zusammenhänge zwischen der Nutzung von Chatbots und Psychosen zu untersuchen.

Winston Ma, außerordentlicher Professor an der NYU School of Law, sagte gegenüber CNBC, dass diese geplanten Regeln den weltweit ersten Versuch darstellen, KI mit menschenähnlichen Eigenschaften zu regulieren. Dieser Schritt erfolgt zu einer Zeit, in der die Nutzung von Begleit-Bots weltweit zunimmt. Diese Art von KI, oft als "anthropomorphe KI" bezeichnet, ist darauf ausgelegt, menschliche Interaktion nachzuahmen und Beziehungen zu Nutzern aufzubauen.

Die vorgeschlagenen Bestimmungen spiegeln ein wachsendes Bewusstsein für die potenziellen Risiken wider, die mit der KI-Technologie verbunden sind, insbesondere in Bezug auf ihre Fähigkeit, die Emotionen und Verhaltensweisen der Nutzer zu beeinflussen. Der Schritt der chinesischen Regierung unterstreicht die Notwendigkeit proaktiver Maßnahmen, um die verantwortungsvolle Entwicklung und den Einsatz von KI-Systemen zu gewährleisten.

Der Vorschlag der Cyberspace Administration wird derzeit geprüft. Wenn die Regeln fertiggestellt werden, dürften sie erhebliche Auswirkungen auf die KI-Industrie in China haben und möglicherweise die Entwicklung von KI-Regulierungen in anderen Ländern beeinflussen. Die konkreten Einzelheiten, wie diese Regeln durchgesetzt würden, und die potenziellen Strafen bei Nichteinhaltung bleiben abzuwarten.