कैलिफ़ोर्निया के अटॉर्नी जनरल रॉब बोन्टा ने शुक्रवार को xAI को एक सीज़-एंड-डेसिस्ट पत्र जारी किया, जिसमें कंपनी से डीपफेक, गैर-सहमतिपूर्ण, अंतरंग छवियों और बाल यौन शोषण सामग्री (CSAM) के निर्माण और वितरण को तुरंत रोकने की मांग की गई। यह कार्रवाई अटॉर्नी जनरल के कार्यालय की उस पूर्व घोषणा के बाद हुई है जिसमें कहा गया था कि वह xAI, एलोन मस्क के आर्टिफिशियल इंटेलिजेंस स्टार्टअप की जांच कर रहा है, क्योंकि ऐसी खबरें आई हैं कि इसके चैटबॉट, ग्रोोक का उपयोग महिलाओं और नाबालिगों की गैर-सहमतिपूर्ण यौन छवियों को उत्पन्न करने के लिए किया जा रहा था।

बोन्टा ने एक प्रेस विज्ञप्ति में कहा, "आज, मैंने xAI को एक सीज़-एंड-डेसिस्ट पत्र भेजा है, जिसमें कंपनी से डीपफेक, गैर-सहमतिपूर्ण, अंतरंग छवियों और बाल यौन शोषण सामग्री के निर्माण और वितरण को तुरंत रोकने की मांग की गई है। इस सामग्री का निर्माण अवैध है। मुझे पूरी उम्मीद है कि xAI तुरंत इसका पालन करेगा। कैलिफ़ोर्निया में CSAM के लिए शून्य सहनशीलता है।"

अटॉर्नी जनरल के कार्यालय ने यह भी दावा किया कि xAI गैर-सहमतिपूर्ण नग्न तस्वीरों के बड़े पैमाने पर उत्पादन को सुविधाजनक बनाता हुआ प्रतीत होता है, जिनका कथित तौर पर महिलाओं और लड़कियों को ऑनलाइन परेशान करने के लिए उपयोग किया जा रहा था। एजेंसी को उम्मीद है कि xAI इन मुद्दों को हल करने के लिए उठाए जा रहे कदमों को पांच दिनों के भीतर प्रदर्शित करेगा।

विवाद के केंद्र में ग्रोोक का "स्पाइसी मोड" फ़ीचर है, जिसे xAI ने AI चैटबॉट से अधिक अनफ़िल्टर्ड और संभावित रूप से उत्तेजक प्रतिक्रियाओं की अनुमति देने के लिए बनाया था। यह फ़ीचर, जिसका उद्देश्य अधिक आकर्षक उपयोगकर्ता अनुभव प्रदान करना था, ने हानिकारक और अवैध सामग्री के निर्माण का द्वार खोल दिया है।

डीपफेक, जो AI-जनित सिंथेटिक मीडिया हैं, तेजी से परिष्कृत हो गए हैं, जिससे उनके दुरुपयोग की संभावना के बारे में चिंताएं बढ़ रही हैं। यह तकनीक यथार्थवादी दिखने वाली लेकिन पूरी तरह से मनगढ़ंत छवियों और वीडियो के निर्माण की अनुमति देती है, जिससे यह बताना मुश्किल हो जाता है कि क्या वास्तविक है और क्या नहीं। यह कानून प्रवर्तन और सामग्री मॉडरेशन प्रयासों के लिए महत्वपूर्ण चुनौतियां पेश करता है।

डीपफेक पोर्नोग्राफी बनाने और वितरित करने के कानूनी निहितार्थ, विशेष रूप से नाबालिगों को शामिल करने वाले, गंभीर हैं। इस तरह की कार्रवाइयाँ बाल पोर्नोग्राफी कानूनों के साथ-साथ यौन उत्पीड़न और मानहानि के खिलाफ कानूनों का उल्लंघन कर सकती हैं। गैर-सहमतिपूर्ण अंतरंग छवियों को उत्पन्न करने के लिए AI का उपयोग AI डेवलपर्स की अपनी तकनीक के दुरुपयोग को रोकने की जिम्मेदारी के बारे में नैतिक प्रश्न भी उठाता है।

xAI ने अभी तक सीज़-एंड-डेसिस्ट पत्र के जवाब में कोई सार्वजनिक बयान जारी नहीं किया है। कंपनी अब अपने AI मॉडल द्वारा उत्पन्न हानिकारक सामग्री के निर्माण और वितरण को रोकने के लिए अपनी प्रतिबद्धता प्रदर्शित करने की चुनौती का सामना कर रही है। कैलिफ़ोर्निया के अटॉर्नी जनरल का कार्यालय अगले पांच दिनों के भीतर xAI की प्रतिक्रिया और सुधारात्मक कार्रवाई के प्रमाण की प्रतीक्षा कर रहा है। यह मामला उन्नत AI तकनीकों से जुड़े संभावित नुकसानों को दूर करने के लिए मजबूत सुरक्षा उपायों और विनियमों की बढ़ती आवश्यकता पर प्रकाश डालता है।