कैलिफ़ोर्निया के अटॉर्नी जनरल रॉब बोन्टा ने शुक्रवार को xAI को एक सीज़-एंड-डेसिस्ट (बंद करने और रोकने का) पत्र जारी किया, जिसमें कंपनी से डीपफेक, गैर-सहमति वाले, अंतरंग चित्र और बाल यौन शोषण सामग्री (CSAM) के निर्माण और वितरण को तुरंत रोकने की मांग की गई। यह कार्रवाई इस सप्ताह की शुरुआत में की गई एक घोषणा के बाद हुई है जिसमें कैलिफ़ोर्निया के अटॉर्नी जनरल के कार्यालय ने xAI, एलन मस्क की आर्टिफिशियल इंटेलिजेंस कंपनी, की जांच करने की बात कही थी, क्योंकि ऐसी खबरें थीं कि इसके चैटबॉट, ग्रोक का उपयोग महिलाओं और नाबालिगों की गैर-सहमति वाली यौन छवियों को उत्पन्न करने के लिए किया जा रहा था।

बोन्टा ने एक प्रेस विज्ञप्ति में कहा, "आज, मैंने xAI को एक सीज़-एंड-डेसिस्ट पत्र भेजा है, जिसमें कंपनी से डीपफेक, गैर-सहमति वाले, अंतरंग चित्र और बाल यौन शोषण सामग्री के निर्माण और वितरण को तुरंत रोकने की मांग की गई है। इस सामग्री का निर्माण अवैध है। मुझे पूरी उम्मीद है कि xAI तुरंत इसका पालन करेगी। कैलिफ़ोर्निया में CSAM के लिए कोई सहनशीलता नहीं है।"

अटॉर्नी जनरल के कार्यालय ने यह भी दावा किया कि xAI गैर-सहमति वाली नग्न तस्वीरों के बड़े पैमाने पर उत्पादन को सुविधाजनक बनाता हुआ प्रतीत होता है, जिनका कथित तौर पर महिलाओं और लड़कियों को ऑनलाइन परेशान करने के लिए उपयोग किया जा रहा है। एजेंसी उम्मीद करती है कि xAI इन मुद्दों को हल करने के लिए उठाए जा रहे कदमों को पांच दिनों के भीतर प्रदर्शित करेगी।

विवाद के केंद्र में ग्रोक का "स्पाइसी मोड" फ़ीचर है, जिसे xAI ने AI से अधिक अनफ़िल्टर्ड और संभावित रूप से उत्तेजक प्रतिक्रियाओं की अनुमति देने के लिए बनाया है। यह फ़ीचर, जिसका उद्देश्य अधिक आकर्षक उपयोगकर्ता अनुभव प्रदान करना था, ने हानिकारक और अवैध सामग्री के निर्माण का द्वार खोल दिया है।

डीपफेक, AI-जनित सिंथेटिक मीडिया जो व्यक्तियों को ऐसे काम करते या कहते हुए विश्वसनीय रूप से चित्रित कर सकता है जो उन्होंने कभी नहीं किए, एक बढ़ती चिंता बन गई है। यह तकनीक महत्वपूर्ण नैतिक और कानूनी सवाल उठाती है, खासकर जब गैर-सहमति वाली पोर्नोग्राफी बनाने या गलत सूचना फैलाने के लिए इसका उपयोग किया जाता है। जिस सापेक्ष आसानी से इन छवियों को ऑनलाइन बनाया और प्रसारित किया जा सकता है, वह नुकसान की संभावना को बढ़ा देता है।

जांच और बाद में सीज़-एंड-डेसिस्ट आदेश तेजी से विकसित हो रही AI तकनीकों को विनियमित करने की चुनौतियों को उजागर करता है। जबकि AI कई लाभ प्रदान करता है, यह जोखिम भी प्रस्तुत करता है जिनके लिए सावधानीपूर्वक विचार और कम करने के लिए सक्रिय उपायों की आवश्यकता होती है। यह मामला AI डेवलपर्स को अपने डिज़ाइन और परिनियोजन प्रक्रियाओं में सुरक्षा और नैतिक विचारों को प्राथमिकता देने की आवश्यकता को रेखांकित करता है।

xAI ने अभी तक सीज़-एंड-डेसिस्ट आदेश पर सार्वजनिक रूप से प्रतिक्रिया नहीं दी है। कंपनी को अब कैलिफ़ोर्निया के अटॉर्नी जनरल के कार्यालय को यह प्रदर्शित करने का काम है कि वह अपनी तकनीक के दुरुपयोग को रोकने और गैर-सहमति वाली डीपफेक छवियों के निर्माण और वितरण से व्यक्तियों की रक्षा करने के लिए ठोस कदम उठा रही है। इस मामले का परिणाम एक मिसाल कायम कर सकता है कि AI कंपनियों को उनकी तकनीकों के संभावित दुरुपयोग के लिए कैसे जवाबदेह ठहराया जाता है।