चीन के साइबरस्पेस एडमिनिस्ट्रेशन ने शनिवार को आर्टिफिशियल इंटेलिजेंस (AI) चैटबॉट को विनियमित करने के लिए नियमों का प्रस्ताव रखा, जिसका उद्देश्य तकनीक को भावनात्मक रूप से उपयोगकर्ताओं में हेरफेर करने और संभावित रूप से आत्महत्या, आत्म-नुकसान या हिंसा को प्रोत्साहित करने से रोकना है। प्रस्तावित नियम, यदि अंतिम रूप दिए जाते हैं, तो चीन में जनता के लिए उपलब्ध किसी भी AI उत्पाद या सेवा पर लागू होंगे जो टेक्स्ट, छवियों, ऑडियो, वीडियो या अन्य तरीकों के माध्यम से मानव बातचीत का अनुकरण करते हैं।

ये नियम AI-समर्थित हानि निवारण के संबंध में दुनिया की सबसे सख्त नीति हो सकते हैं। NYU स्कूल ऑफ लॉ के सहायक प्रोफेसर विंस्टन मा ने CNBC को बताया कि नियोजित नियम मानव या मानवोपयोगी विशेषताओं वाले AI को विनियमित करने के दुनिया के पहले प्रयास का प्रतिनिधित्व करते हैं, यह कदम ऐसे समय में आया है जब साथी बॉट का उपयोग विश्व स्तर पर बढ़ रहा है।

इन नियमों का तात्कालिक कारण AI साथियों से जुड़े संभावित नुकसानों के बारे में बढ़ती जागरूकता है। 2025 की शुरुआत में, शोधकर्ताओं ने आत्म-नुकसान, हिंसा और यहां तक कि आतंकवाद को बढ़ावा देने सहित महत्वपूर्ण जोखिमों को चिह्नित करना शुरू कर दिया था। चैटबॉट द्वारा गलत सूचना प्रसारित करने, अवांछित यौन प्रस्ताव रखने, मादक द्रव्यों के सेवन को प्रोत्साहित करने और मौखिक दुर्व्यवहार में शामिल होने से आगे चिंताएं उत्पन्न हुईं। कुछ मनोचिकित्सक तेजी से चैटबॉट के उपयोग और कमजोर व्यक्तियों में मनोविकृति की शुरुआत के बीच एक संबंध पर विचार कर रहे हैं।

प्रस्तावित नियम AI विकास के एक महत्वपूर्ण क्षेत्र को संबोधित करते हैं: इन प्रणालियों की उपयोगकर्ताओं की भावनात्मक कमजोरियों का फायदा उठाने की क्षमता। AI चैटबॉट, जो मानव संपर्क की नकल करने के लिए डिज़ाइन किए गए हैं, उपयोगकर्ताओं के साथ संबंध बना सकते हैं और कुछ मामलों में, अनुचित प्रभाव डाल सकते हैं। यह प्रभाव, यदि अनियंत्रित है, तो हानिकारक परिणाम हो सकते हैं, खासकर मानसिक स्वास्थ्य के मुद्दों से जूझ रहे व्यक्तियों या हेरफेर के प्रति संवेदनशील लोगों के लिए।

चीन के साइबरस्पेस एडमिनिस्ट्रेशन ने अभी तक प्रस्तावित नियमों को अंतिम रूप देने के लिए समय-सीमा जारी नहीं की है। नियम सार्वजनिक टिप्पणी और कार्यान्वित होने से पहले आगे के संशोधनों के अधीन हैं। इस विकास पर अन्य देशों द्वारा बारीकी से नजर रखी जाएगी जो तेजी से परिष्कृत AI तकनीकों के नैतिक और सामाजिक निहितार्थों से जूझ रहे हैं। चीन द्वारा उठाया गया कदम यह निर्धारित करने के लिए एक मिसाल कायम कर सकता है कि दुनिया भर की सरकारें मानसिक स्वास्थ्य और सुरक्षा के संदर्भ में AI के विनियमन के लिए कैसे संपर्क करती हैं।