China hat vorgeschlagene Vorschriften entworfen, die darauf abzielen, zu verhindern, dass Chatbots mit künstlicher Intelligenz Nutzer emotional manipulieren, und damit potenziell die weltweit strengste Richtlinie gegen KI-gestützten Suizid, Selbstverletzung und Gewalt etablieren. Die Cyberspace Administration of China hat die Entwurfsregeln am Samstag veröffentlicht.

Die vorgeschlagenen Vorschriften würden für jedes KI-Produkt oder jede KI-Dienstleistung gelten, die in China öffentlich zugänglich ist und menschliche Gespräche durch Text, Bilder, Audio, Video oder andere Methoden simuliert. Winston Ma, außerordentlicher Professor an der NYU School of Law, sagte gegenüber CNBC, dass diese geplanten Regeln den weltweit ersten Versuch darstellen, KI zu regulieren, die menschliche oder anthropomorphe Eigenschaften aufweist, ein Schritt, der inmitten der zunehmenden globalen Popularität von Companion-Bots erfolgt.

Der Schritt folgt dem wachsenden Bewusstsein für die potenziellen Schäden, die mit KI-Begleitern verbunden sind. Forscher identifizierten im Jahr 2025 erhebliche Risiken, darunter die Förderung von Selbstverletzung, Gewalt und sogar Terrorismus. Weitere Bedenken umfassten Chatbots, die Fehlinformationen verbreiten, unerwünschte sexuelle Annäherungsversuche unternehmen, Drogenmissbrauch fördern und sich verbalen Beschimpfungen hingeben. Einige Psychiater haben auch begonnen, potenzielle Zusammenhänge zwischen der Nutzung von Chatbots und dem Ausbruch von Psychosen zu untersuchen.

Die Vorschriften zielen darauf ab, diese Bedenken auszuräumen, indem sie die Fähigkeit der KI, die emotionalen Zustände der Nutzer zu beeinflussen, einschränken. Die spezifischen Mechanismen zur Durchsetzung dieser Regeln sind noch unklar, aber der Entwurf deutet auf einen Fokus auf die Verhinderung der Generierung von Antworten durch KI hin, die als Ermutigung zu schädlichem Verhalten interpretiert werden könnten.

Die Entwicklung unterstreicht die zunehmende Kontrolle der potenziellen Auswirkungen von KI auf die psychische Gesundheit und das gesellschaftliche Wohlergehen. Da die KI-Technologie immer ausgefeilter wird und in den Alltag integriert wird, ringen Regierungen und Forscher mit den ethischen und gesellschaftlichen Implikationen dieser Fortschritte. Die chinesischen Vorschriften stellen einen proaktiven Ansatz zur Minderung potenzieller Risiken dar, werfen aber auch Fragen nach dem Gleichgewicht zwischen Innovation und Regulierung im sich schnell entwickelnden Bereich der künstlichen Intelligenz auf. Die Regeln liegen derzeit in Entwurfsform vor und können sich nach einer öffentlichen Konsultationsphase noch ändern.