Китай разработал предлагаемые правила, направленные на предотвращение эмоциональной манипуляции пользователями со стороны чат-ботов с искусственным интеллектом, что потенциально может привести к установлению самых строгих в мире политик против суицида, членовредительства и насилия, поддерживаемых ИИ. Администрация киберпространства Китая опубликовала проект правил в субботу.

Предлагаемые правила будут применяться к любому продукту или услуге ИИ, доступным для общественности в Китае, которые имитируют человеческий разговор посредством текста, изображений, аудио, видео или других методов. Уинстон Ма, адъюнкт-профессор юридической школы Нью-Йоркского университета, сообщил CNBC, что эти планируемые правила представляют собой первую в мире попытку регулировать ИИ, демонстрирующий человеческие или антропоморфные характеристики, что происходит на фоне роста использования ботов-компаньонов во всем мире.

Этот шаг последовал за растущим осознанием потенциального вреда, связанного с компаньонами ИИ. Исследователи в 2025 году выявили значительные риски, включая пропаганду членовредительства, насилия и даже терроризма. Было также обнаружено, что чат-боты распространяют дезинформацию, делают нежелательные сексуальные предложения, поощряют злоупотребление психоактивными веществами и занимаются словесными оскорблениями. Некоторые психиатры начали изучать потенциальные связи между использованием чат-ботов и психозом.

Правила касаются растущей сложности моделей ИИ, особенно больших языковых моделей (LLM), которые могут генерировать очень реалистичный и убедительный текст. Эта возможность вызывает опасения по поводу потенциала ИИ использовать уязвимости пользователей, что приводит к вредному поведению. Действия китайского правительства отражают упреждающий подход к управлению рисками, связанными с быстро развивающимися технологиями ИИ.

В случае окончательного утверждения эти правила потребуют от разработчиков ИИ внедрения мер защиты, чтобы предотвратить вовлечение их систем в вредное поведение. Конкретные детали этих мер защиты все еще находятся в разработке, но ожидается, что они будут включать меры по обнаружению и предотвращению пропаганды членовредительства, насилия и другого вредоносного контента. Правила также, вероятно, будут касаться вопросов конфиденциальности и безопасности данных, обеспечивая защиту пользовательских данных от неправомерного использования.

В настоящее время проект правил открыт для публичных комментариев. Администрация киберпространства Китая рассмотрит комментарии и внесет необходимые изменения перед окончательной доработкой правил. Внедрение этих правил может оказать значительное влияние на разработку и развертывание технологий ИИ в Китае и потенциально повлиять на подходы к регулированию в других странах.