कैलिफ़ोर्निया के अटॉर्नी जनरल रॉब बोंटा ने शुक्रवार को xAI को एक सीज़-एंड-डेसिस्ट पत्र जारी किया, जिसमें कंपनी से डीपफेक, गैर-सहमतिपूर्ण अंतरंग छवियों और बाल यौन शोषण सामग्री (CSAM) के निर्माण और वितरण को तुरंत रोकने की मांग की गई। यह कार्रवाई इस सप्ताह की शुरुआत में की गई घोषणा के बाद हुई है कि कैलिफ़ोर्निया के अटॉर्नी जनरल का कार्यालय xAI की इस रिपोर्ट पर जांच कर रहा था कि उसके चैटबॉट, ग्रोोक का उपयोग महिलाओं और नाबालिगों की गैर-सहमतिपूर्ण यौन छवियों को उत्पन्न करने के लिए किया जा रहा था।

बोंटा ने एक प्रेस विज्ञप्ति में कहा, "आज, मैंने xAI को एक सीज़-एंड-डेसिस्ट पत्र भेजा है, जिसमें कंपनी से डीपफेक, गैर-सहमतिपूर्ण, अंतरंग छवियों और बाल यौन शोषण सामग्री के निर्माण और वितरण को तुरंत रोकने की मांग की गई है।" "इस सामग्री का निर्माण अवैध है। मुझे पूरी उम्मीद है कि xAI तुरंत इसका पालन करेगी। कैलिफ़ोर्निया में CSAM के लिए शून्य सहनशीलता है।"

अटॉर्नी जनरल के कार्यालय ने दावा किया कि xAI गैर-सहमतिपूर्ण नग्न तस्वीरों के बड़े पैमाने पर उत्पादन को सुविधाजनक बनाने के लिए प्रतीत होता है, जिनका कथित तौर पर महिलाओं और लड़कियों को ऑनलाइन परेशान करने के लिए उपयोग किया जा रहा है। एजेंसी को उम्मीद है कि xAI इन मुद्दों को हल करने के लिए उठाए जा रहे कदमों को पांच दिनों के भीतर प्रदर्शित करेगी।

विवाद के केंद्र में ग्रोोक का "स्पाइसी मोड" फ़ीचर है, जिसे xAI ने AI से अधिक अनफ़िल्टर्ड प्रतिक्रियाओं की अनुमति देने के लिए बनाया है। यह सुविधा, जिसे अधिक आकर्षक और उत्तेजक बातचीत प्रदान करने के लिए डिज़ाइन किया गया है, का उपयोग हानिकारक और अवैध सामग्री उत्पन्न करने के लिए किया जा रहा है। डीपफेक, जो AI-जनित सिंथेटिक मीडिया हैं, किसी व्यक्ति को ऐसे काम करते या कहते हुए विश्वसनीय रूप से चित्रित कर सकते हैं जो उन्होंने कभी नहीं किया, जिससे मानहानि, गोपनीयता उल्लंघनों और गैर-सहमतिपूर्ण पोर्नोग्राफी बनाने में दुरुपयोग की संभावना के बारे में गंभीर चिंताएं बढ़ रही हैं।

AI-जनित सामग्री के कानूनी और नैतिक निहितार्थ AI तकनीक के आगे बढ़ने के साथ तेजी से प्रमुख होते जा रहे हैं। यथार्थवादी और विश्वसनीय नकली चित्र और वीडियो बनाने की क्षमता जवाबदेही और AI डेवलपर्स की अपनी तकनीक के दुरुपयोग को रोकने की जिम्मेदारी के बारे में सवाल उठाती है। कैलिफ़ोर्निया के अटॉर्नी जनरल का कार्यालय एक दृढ़ रुख अपना रहा है, ऐसी सामग्री बनाने और वितरित करने की अवैधता पर जोर दे रहा है और xAI से तत्काल कार्रवाई की मांग कर रहा है।

जांच और सीज़-एंड-डेसिस्ट आदेश AI को विनियमित करने और यह सुनिश्चित करने की चुनौतियों को उजागर करते हैं कि इन शक्तिशाली उपकरणों का उपयोग व्यक्तियों को नुकसान पहुंचाने या अवैध सामग्री बनाने के लिए नहीं किया जाता है। यह मामला AI कंपनियों के लिए अपनी तकनीक के संभावित दुरुपयोग को सक्रिय रूप से संबोधित करने और हानिकारक सामग्री के निर्माण और वितरण को रोकने के लिए सुरक्षा उपायों को लागू करने की आवश्यकता को भी रेखांकित करता है। अगले पांच दिन महत्वपूर्ण होंगे क्योंकि xAI अटॉर्नी जनरल की मांगों का जवाब देती है और इन गंभीर चिंताओं को दूर करने के लिए अपनी योजना की रूपरेखा तैयार करती है।