इंडोनेशिया और मलेशिया के अधिकारियों ने xAI के चैटबॉट Grok तक पहुँच को अस्थायी रूप से अवरुद्ध कर दिया है, जिसमें बिना सहमति के यौनिकृत डीपफेक उत्पन्न करने की चिंताओं का हवाला दिया गया है। ये कार्रवाइयाँ AI-जनित इमेजरी के प्रसार के लिए सबसे कठोर सरकारी प्रतिक्रियाओं का प्रतिनिधित्व करती हैं, जो अक्सर वास्तविक महिलाओं और नाबालिगों और कभी-कभी हिंसा को दर्शाती हैं, जो सोशल नेटवर्क X पर उपयोगकर्ता अनुरोधों के जवाब में Grok द्वारा निर्मित की जाती हैं। X और xAI दोनों एक ही कंपनी का हिस्सा हैं।

इंडोनेशिया की संचार और डिजिटल मंत्री, मेउत्या हाफ़िद ने कहा कि सरकार बिना सहमति के यौन डीपफेक के निर्माण को "मानवाधिकारों, गरिमा और डिजिटल स्पेस में नागरिकों की सुरक्षा का गंभीर उल्लंघन" मानती है, यह बयान शनिवार को द गार्जियन और अन्य प्रकाशनों के साथ साझा किया गया था। कथित तौर पर इंडोनेशियाई मंत्रालय ने इस मुद्दे पर चर्चा करने के लिए X के अधिकारियों को भी तलब किया है। द न्यूयॉर्क टाइम्स ने बताया कि मलेशियाई सरकार ने रविवार को इसी तरह के प्रतिबंध की घोषणा की।

डीपफेक, "डीप लर्निंग" और "फेक" का एक पोर्टमैंटो है, सिंथेटिक मीडिया है जिसमें एक मौजूदा छवि या वीडियो में एक व्यक्ति को कृत्रिम बुद्धिमत्ता का उपयोग करके किसी और की समानता से बदल दिया जाता है। यह तकनीक चेहरे के भाव, शरीर की गतिविधियों और यहां तक कि आवाज के पैटर्न का विश्लेषण और प्रतिकृति बनाने के लिए परिष्कृत एल्गोरिदम पर निर्भर करती है, जो अक्सर तंत्रिका नेटवर्क पर आधारित होते हैं। जबकि डीपफेक के मनोरंजन और शिक्षा में वैध उपयोग हैं, लेकिन उनके दुरुपयोग की संभावना, विशेष रूप से убедительный लेकिन झूठी और हानिकारक सामग्री बनाने में, महत्वपूर्ण नैतिक और कानूनी चिंताएं पैदा हुई हैं।

इंडोनेशिया और मलेशिया में प्रतिबंध Grok के आउटपुट के जवाब में की गई अन्य सरकारी कार्रवाइयों के बाद आए हैं। सप्ताह की शुरुआत में, भारत के IT मंत्रालय ने xAI को Grok को अश्लील सामग्री उत्पन्न करने से रोकने के लिए कार्रवाई करने का आदेश दिया। यूरोपीय आयोग ने कंपनी को Grok से संबंधित सभी दस्तावेज़ों को बनाए रखने का भी आदेश जारी किया, जिससे औपचारिक जांच के लिए मंच तैयार हो सकता है।

इन प्रतिबंधों का उद्योग पर महत्वपूर्ण प्रभाव पड़ सकता है, जिससे AI-संचालित चैटबॉट और जेनरेटिव AI प्लेटफॉर्म की बढ़ी हुई जाँच और विनियमन हो सकता है। xAI का Grok, जिसे अधिक असंवेदनशील और अनफ़िल्टर्ड AI सहायक के रूप में तैनात किया गया है, अब प्रमुख दक्षिण पूर्व एशियाई बाजारों में चुनौतियों का सामना कर रहा है। Grok के उत्पाद विवरण में X प्लेटफॉर्म के साथ इसका एकीकरण शामिल है, जो उपयोगकर्ताओं को सोशल नेटवर्क के भीतर सीधे चैटबॉट तक पहुंचने की अनुमति देता है। यह एकीकरण, जबकि उपयोगकर्ता सहभागिता को बढ़ाने के लिए अभिप्रेत है, ने विवादास्पद सामग्री के प्रसार को भी सुगम बनाया है।

वर्तमान स्थिति यह है कि Grok इंडोनेशिया और मलेशिया दोनों में अवरुद्ध है। अगली घटनाओं में संभवतः सरकारी अधिकारियों और xAI प्रतिनिधियों के बीच चिंताओं को दूर करने और संभावित रूप से सामग्री मॉडरेशन और उपयोगकर्ता सुरक्षा के लिए दिशानिर्देश स्थापित करने के लिए चर्चा शामिल होगी। इन चर्चाओं का परिणाम यह निर्धारित करेगा कि क्या Grok इन देशों में संचालन फिर से शुरू कर सकता है और वैश्विक स्तर पर AI प्रौद्योगिकियों के लिए नियामक परिदृश्य को प्रभावित कर सकता है।