ब्रिटेन के संचार नियामक, ऑफ़कॉम ने औपचारिक रूप से X (पूर्व में ट्विटर) से इस बारे में जानकारी मांगी है कि उसकी ग्रोक्क एआई मॉडल बच्चों की यौन छवियों को उत्पन्न कर रही है। यह अनुरोध जेनरेटिव एआई प्रौद्योगिकियों के संभावित दुरुपयोग और हानिकारक सामग्री बनाने की उनकी क्षमता के बारे में बढ़ती चिंताओं के बाद आया है।

जांच इस आरोप पर केंद्रित है कि उपयोगकर्ताओं ने ग्रोक्क को यौन रूप से उत्तेजक स्थितियों में नाबालिगों को दर्शाने वाली छवियां बनाने के लिए प्रेरित किया है। इन रिपोर्टों से X द्वारा एआई को ऐसे उद्देश्यों के लिए शोषण से रोकने के लिए किए गए सुरक्षा उपायों के बारे में गंभीर सवाल उठते हैं। ऑफ़कॉम की जांच का उद्देश्य समस्या की सीमा का पता लगाना और यह पता लगाना है कि क्या X इसे संबोधित करने के लिए पर्याप्त कदम उठा रहा है।

ग्रोक्क जैसे जेनरेटिव एआई मॉडल को टेक्स्ट और छवियों के विशाल डेटासेट पर प्रशिक्षित किया जाता है, जिससे वे उपयोगकर्ता संकेतों के आधार पर नई सामग्री बना सकते हैं। हालांकि, यह तकनीक जोखिम भी प्रस्तुत करती है, क्योंकि मॉडल को डीपफेक उत्पन्न करने, गलत सूचना फैलाने या, जैसा कि इस मामले में आरोप लगाया गया है, बाल यौन शोषण सामग्री (CSAM) बनाने के लिए हेरफेर किया जा सकता है। एआई की तेजी से यथार्थवादी छवियां बनाने की क्षमता से ऐसी सामग्री का पता लगाना और उसे हटाना विशेष रूप से चुनौतीपूर्ण हो जाता है।

ऑफ़कॉम के एक प्रवक्ता ने कहा, "हम एआई के हानिकारक सामग्री, विशेष रूप से बच्चों से जुड़ी सामग्री बनाने के लिए उपयोग किए जाने की संभावना के बारे में गहराई से चिंतित हैं।" "हमने X से ग्रोक्क से संबंधित रिपोर्टों और ऐसी छवियों के निर्माण और प्रसार को रोकने के लिए उठाए जा रहे उपायों के बारे में जानकारी प्रदान करने के लिए कहा है।"

X ने ऑफ़कॉम के अनुरोध को स्वीकार किया है और कहा है कि वह जांच में सहयोग कर रहा है। कंपनी का कहना है कि उसके पास हानिकारक सामग्री के निर्माण को प्रतिबंधित करने के लिए सख्त नीतियां हैं और वह अपनी एआई सुरक्षा उपायों को बेहतर बनाने के लिए सक्रिय रूप से काम कर रही है।

X के एक प्रतिनिधि ने कहा, "हम इन आरोपों को बहुत गंभीरता से लेते हैं और यह सुनिश्चित करने के लिए प्रतिबद्ध हैं कि हमारे एआई मॉडल का उपयोग हानिकारक सामग्री बनाने या बढ़ावा देने के लिए नहीं किया जाता है।" "हम लगातार अपने सुरक्षा प्रोटोकॉल को परिष्कृत कर रहे हैं और संभावित जोखिमों की पहचान करने और उन्हें कम करने के लिए विशेषज्ञों के साथ काम कर रहे हैं।"

यह घटना एआई प्रौद्योगिकियों को विनियमित करने और यह सुनिश्चित करने की व्यापक चुनौती को उजागर करती है कि उनका उपयोग जिम्मेदारी से किया जाए। जैसे-जैसे एआई मॉडल अधिक परिष्कृत होते जाते हैं, उनके दुरुपयोग का पता लगाने और रोकने के लिए प्रभावी तंत्र विकसित करना तेजी से महत्वपूर्ण होता जा रहा है। इसमें न केवल तकनीकी समाधान शामिल हैं, जैसे कि सामग्री फ़िल्टर और पहचान एल्गोरिदम, बल्कि नियामक ढांचे भी शामिल हैं जो कंपनियों को उनके एआई सिस्टम की सुरक्षा के लिए जवाबदेह ठहराते हैं।

जांच चल रही है, और ऑफ़कॉम के पास X पर महत्वपूर्ण जुर्माना लगाने की शक्ति है यदि उसे पता चलता है कि कंपनी उपयोगकर्ताओं को हानिकारक सामग्री से बचाने में विफल रही है। जांच के परिणाम का यूके और उससे आगे एआई प्रौद्योगिकियों के विनियमन के लिए महत्वपूर्ण निहितार्थ हो सकता है। नियामक आने वाले महीनों में अपने निष्कर्ष प्रकाशित करने की उम्मीद है।