कई अमेरिकी सीनेटर X, मेटा, अल्फाबेट, स्नैप, रेडिट और टिकटॉक सहित प्रमुख तकनीकी कंपनियों से उनके प्लेटफॉर्म पर यौनिकृत डीपफेक के प्रसार का मुकाबला करने की रणनीतियों के बारे में जवाब मांग रहे हैं। इन कंपनियों के नेतृत्व को संबोधित एक पत्र में, सीनेटरों ने एआई-जनित, गैर-सहमति वाली इमेजरी के उदय को रोकने के लिए डिज़ाइन किए गए मजबूत सुरक्षा और नीतियों के प्रमाण का अनुरोध किया।

सीनेटरों ने कंपनियों को यौनिकृत, एआई-जनित छवियों के निर्माण, पहचान, मॉडरेशन और मुद्रीकरण से संबंधित सभी दस्तावेजों और सूचनाओं, साथ ही किसी भी संबंधित नीतियों को संरक्षित करने का भी आदेश दिया। यह मांग उन रिपोर्टों के बाद आई है जिनमें इस बात पर प्रकाश डाला गया है कि कैसे ग्रोक जैसे एआई मॉडल का उपयोग महिलाओं और बच्चों की स्पष्ट छवियां उत्पन्न करने के लिए किया गया है।

यह पत्र X द्वारा अपने ग्रोक AI मॉडल में अपडेट की घोषणा के कुछ घंटे बाद भेजा गया था, जिसमें इसे वास्तविक लोगों के संपादन को भड़काऊ कपड़ों में बनाने से प्रतिबंधित किया गया था। X ने ग्रोक के माध्यम से छवि निर्माण और संपादन को भुगतान करने वाले ग्राहकों तक भी सीमित कर दिया। X और xAI एक ही कंपनी का हिस्सा हैं।

सीनेटरों ने जोर देकर कहा कि गैर-सहमति वाली, यौनिकृत इमेजरी के खिलाफ प्लेटफ़ॉर्म सुरक्षा अपर्याप्त हो सकती है, यहां तक कि गैर-सहमति वाली अंतरंग इमेजरी और यौन शोषण के खिलाफ मौजूदा नीतियों के साथ भी। सीनेटरों ने मीडिया रिपोर्टों की ओर इशारा किया कि ग्रोक ने कितनी आसानी से और अक्सर महिलाओं और बच्चों की यौनिकृत और नग्न छवियां उत्पन्न कीं।

डीपफेक, जो एआई-जनित सिंथेटिक मीडिया हैं जिसमें किसी मौजूदा छवि या वीडियो में किसी व्यक्ति को किसी और की समानता से बदल दिया जाता है, ने उनके दुरुपयोग की संभावना के बारे में महत्वपूर्ण चिंताएं जताई हैं, खासकर गैर-सहमति वाली पोर्नोग्राफी के निर्माण और गलत सूचना के प्रसार में। यह तकनीक किसी व्यक्ति की उपस्थिति और आवाज का विश्लेषण और प्रतिकृति करने के लिए उन्नत मशीन लर्निंग तकनीकों, जैसे कि डीप लर्निंग पर निर्भर करती है।

सीनेटरों की जांच एआई-जनित सामग्री के नैतिक और सामाजिक निहितार्थों को संबोधित करने के लिए तकनीकी कंपनियों पर बढ़ते दबाव को रेखांकित करती है। पहचान और मॉडरेशन रणनीतियों पर दस्तावेज़ीकरण की मांग ऑनलाइन प्लेटफ़ॉर्म से डीपफेक की पहचान करने और हटाने की तकनीकी चुनौतियों पर ध्यान केंद्रित करने का सुझाव देती है। ऐसी सामग्री से संबंधित मुद्रीकरण प्रथाओं की भी जांच की जा रही है, जो वित्तीय प्रोत्साहनों के बारे में चिंताओं को दर्शाती है जो इसके प्रसार में योगदान कर सकते हैं।

इन तकनीकी कंपनियों की प्रतिक्रिया में संभवतः उनके वर्तमान एआई सामग्री मॉडरेशन सिस्टम का विवरण शामिल होगा, जो अक्सर स्वचालित उपकरणों और मानव समीक्षकों के संयोजन का उपयोग करते हैं। ये सिस्टम आमतौर पर डीपफेक से जुड़ी पैटर्न और विशेषताओं का पता लगाने के लिए प्रशिक्षित एल्गोरिदम पर निर्भर करते हैं, जैसे कि प्रकाश में असंगतता, अप्राकृतिक चेहरे की हरकतें और हेरफेर के अन्य बताने वाले संकेत।

जानकारी के लिए सीनेटरों के अनुरोध में मुक्त भाषण और एआई-जनित सामग्री के कारण होने वाले नुकसान से व्यक्तियों की रक्षा करने की आवश्यकता के बीच चल रही बहस पर भी प्रकाश डाला गया है। जैसे-जैसे एआई तकनीक आगे बढ़ती जा रही है, नीति निर्माता और तकनीकी कंपनियां प्रभावी नियमों और सुरक्षा उपायों को विकसित करने की चुनौती से जूझ रही हैं जो डीपफेक से जुड़े जोखिमों को कम कर सकते हैं जबकि एआई नवाचार के लाभों को संरक्षित कर सकते हैं। इस जांच का परिणाम एआई सामग्री मॉडरेशन और गैर-सहमति वाली छवि दुरुपयोग की रोकथाम से संबंधित भविष्य के कानून और उद्योग मानकों को प्रभावित कर सकता है।