इंडोनेशिया और मलेशिया के अधिकारियों ने xAI के चैटबॉट Grok तक पहुँच को अस्थायी रूप से रोक दिया है, क्योंकि इसने बिना सहमति के यौन रूप से बनाए गए डीपफेक उत्पन्न किए थे। ये कार्रवाईयाँ AI द्वारा उत्पन्न इमेजरी के प्रसार के प्रति सबसे दृढ़ सरकारी प्रतिक्रियाओं का प्रतिनिधित्व करती हैं, जिनमें अक्सर वास्तविक महिलाओं और नाबालिगों को दर्शाया जाता है, और कभी-कभी हिंसक सामग्री भी शामिल होती है, जिसे सोशल नेटवर्क X पर उपयोगकर्ताओं के अनुरोध पर Grok द्वारा निर्मित किया जाता है। X और xAI दोनों एक ही कंपनी का हिस्सा हैं।

इंडोनेशिया की संचार और डिजिटल मंत्री, मेउत्या हाफ़िद ने शनिवार को कहा कि "सरकार बिना सहमति के यौन डीपफेक की प्रथा को मानवाधिकारों, गरिमा और डिजिटल स्पेस में नागरिकों की सुरक्षा का गंभीर उल्लंघन मानती है," यह बयान गार्जियन और अन्य प्रकाशनों के साथ साझा किया गया। इंडोनेशियाई मंत्रालय ने कथित तौर पर X के अधिकारियों को इस मामले पर चर्चा करने के लिए बुलाया है। द न्यूयॉर्क टाइम्स ने बताया कि मलेशियाई सरकार ने रविवार को इसी तरह के प्रतिबंध की घोषणा की।

डीपफेक, "डीप लर्निंग" और "फेक" का एक पोर्टमैंटो है, जो सिंथेटिक मीडिया है जिसमें एक मौजूदा छवि या वीडियो में एक व्यक्ति को कृत्रिम बुद्धिमत्ता का उपयोग करके किसी और की समानता से बदल दिया जाता है। यह तकनीक परिष्कृत मशीन लर्निंग एल्गोरिदम, विशेष रूप से डीप न्यूरल नेटवर्क पर निर्भर करती है, जो दृश्य और ऑडियो डेटा का विश्लेषण और संश्लेषण करती है, जिससे अत्यधिक यथार्थवादी लेकिन मनगढ़ंत सामग्री बनती है। जिस सापेक्ष आसानी से इन डीपफेक को अब बनाया और प्रसारित किया जा सकता है, उसने महत्वपूर्ण नैतिक और कानूनी चिंताएँ बढ़ा दी हैं, विशेष रूप से सहमति, गोपनीयता और उत्पीड़न और दुष्प्रचार अभियानों में दुरुपयोग की संभावना के संबंध में।

इंडोनेशिया और मलेशिया में प्रतिबंध Grok के आउटपुट के जवाब में की गई अन्य सरकारी कार्रवाइयों के बाद आए हैं। भारत के आईटी मंत्रालय ने xAI को Grok को अश्लील सामग्री उत्पन्न करने से रोकने के लिए कार्रवाई करने का आदेश दिया। यूरोपीय आयोग ने कंपनी को Grok से संबंधित सभी दस्तावेजों को बनाए रखने का आदेश जारी किया, जिससे औपचारिक जांच के लिए मंच तैयार हो सकता है।

इन सरकारी कार्रवाइयों का उद्योग पर प्रभाव अभी देखा जाना बाकी है। इन कदमों से AI डेवलपर्स को अपनी तकनीकों के संभावित दुरुपयोग के संबंध में बढ़ती जाँच का सामना करना पड़ रहा है। xAI ने अभी तक प्रतिबंधों या इंडोनेशियाई और मलेशियाई सरकारों द्वारा उठाई गई चिंताओं को दूर करने के लिए उठाए जाने वाले विशिष्ट उपायों के बारे में कोई सार्वजनिक बयान जारी नहीं किया है। स्थिति अभी भी जारी है, और सरकारी अधिकारियों और xAI के बीच चर्चा जारी रहने के कारण आगे के घटनाक्रमों की उम्मीद है।