A Administração do Ciberespaço da China propôs, no sábado, regras para regular os chatbots de inteligência artificial (IA), com o objetivo de impedir que a tecnologia manipule emocionalmente os usuários e incentive potencialmente o suicídio, a automutilação ou a violência. As regulamentações propostas, se finalizadas, seriam aplicadas a qualquer produto ou serviço de IA disponível ao público na China que simule a conversa humana por meio de texto, imagens, áudio, vídeo ou outros métodos.

As regras marcam o que pode ser a política mais rigorosa do mundo em relação à prevenção de danos apoiada por IA. Winston Ma, professor adjunto da NYU School of Law, disse à CNBC que as regulamentações planejadas representam a primeira tentativa mundial de regular a IA com características humanas ou antropomórficas, uma medida que surge à medida que o uso de bots de companhia aumenta globalmente.

O ímpeto para essas regulamentações decorre de uma crescente conscientização sobre os danos potenciais associados aos companheiros de IA. Já em 2025, os pesquisadores começaram a sinalizar riscos significativos, incluindo a promoção da automutilação, violência e até terrorismo. Outras preocupações surgiram de chatbots que disseminam desinformação, fazem investidas sexuais indesejadas, incentivam o abuso de substâncias e se envolvem em abuso verbal. Alguns psiquiatras estão considerando cada vez mais uma ligação entre o uso de chatbot e o início da psicose em indivíduos vulneráveis.

As regras propostas abordam uma área crítica do desenvolvimento da IA: o potencial desses sistemas para explorar as vulnerabilidades emocionais dos usuários. Os chatbots de IA, projetados para imitar a interação humana, podem formar relacionamentos com os usuários e, em alguns casos, exercer influência indevida. Essa influência, se não for controlada, pode levar a resultados prejudiciais, principalmente para indivíduos que lutam contra problemas de saúde mental ou aqueles suscetíveis à manipulação.

A Administração do Ciberespaço da China ainda não divulgou um cronograma para finalizar as regras propostas. As regulamentações estão sujeitas a comentários públicos e revisões adicionais antes de serem implementadas. O desenvolvimento será acompanhado de perto por outros países que lidam com as implicações éticas e sociais de tecnologias de IA cada vez mais sofisticadas. A medida da China pode estabelecer um precedente sobre como os governos em todo o mundo abordam a regulamentação da IA no contexto da saúde mental e da segurança.