विडंबना इतनी गहरी है कि उसे सिलिकॉन वेफर से काटा जा सकता है। एंथ्रोपिक में, जो कंपनी अपने क्लाउड मॉडलों के साथ कृत्रिम बुद्धिमत्ता की सीमाओं को आगे बढ़ा रही है, इंजीनियर एक सतत हथियारों की दौड़ में बंद हैं। उनका विरोधी? उनकी अपनी रचना। पुरस्कार? एक विश्वसनीय तकनीकी साक्षात्कार परीक्षण।

2024 से, एंथ्रोपिक की प्रदर्शन अनुकूलन टीम संभावित कर्मचारियों के कौशल को मापने के लिए एक टेक-होम टेस्ट पर निर्भर रही है। यह गेहूं को भूसे से अलग करने का एक सीधा तरीका था, जो वास्तविक कोडिंग कौशल वाले उम्मीदवारों की पहचान करता था। लेकिन जैसे-जैसे एआई कोडिंग उपकरण, विशेष रूप से एंथ्रोपिक का अपना क्लाउड, तेजी से आगे बढ़ा है, परीक्षण एक गतिशील लक्ष्य बन गया है।

टीम लीड ट्रिस्टन ह्यूम ने हाल ही में एक ब्लॉग पोस्ट में बताया कि चुनौती यह है कि क्लाउड बहुत अच्छा हो गया है। मॉडल का प्रत्येक पुनरावृत्ति मूल्यांकन के पूर्ण पुन: डिज़ाइन को मजबूर करता है। ह्यूम लिखते हैं, "प्रत्येक नए क्लाउड मॉडल ने हमें परीक्षण को फिर से डिज़ाइन करने के लिए मजबूर किया है।" समस्या सिर्फ यह नहीं है कि क्लाउड परीक्षण को पूरा कर सकता है; यह है कि यह इसे असाधारण रूप से अच्छी तरह से पूरा कर सकता है। ह्यूम के अनुसार, क्लाउड ओपस 4 ने समान समय की बाध्यता दिए जाने पर अधिकांश मानव आवेदकों से बेहतर प्रदर्शन किया। जबकि इससे शुरू में एंथ्रोपिक को अभी भी सबसे मजबूत उम्मीदवारों की पहचान करने की अनुमति मिली, क्लाउड ओपस 4.5 की बाद की रिलीज़ ने उन शीर्ष-स्तरीय आवेदकों के प्रदर्शन से मेल खाते हुए रेखाओं को और भी धुंधला कर दिया।

यह एक महत्वपूर्ण उम्मीदवार-मूल्यांकन समस्या प्रस्तुत करता है। टेक-होम वातावरण में, एक प्रॉक्टर की चौकस निगाह के बिना, यह गारंटी देने का कोई तरीका नहीं है कि आवेदक एआई सहायता का लाभ नहीं उठा रहे हैं। और यदि वे ऐसा कर रहे हैं, तो वे आवेदकों के पूल में जल्दी से शीर्ष पर पहुंच सकते हैं, न कि उनके अंतर्निहित कौशल के कारण, बल्कि एआई को प्रभावी ढंग से प्रेरित करने की उनकी क्षमता के कारण। ह्यूम स्वीकार करते हैं, "टेक-होम टेस्ट की बाधाओं के तहत, हमारे पास अब अपने शीर्ष उम्मीदवारों और अपने सबसे सक्षम मॉडल के आउटपुट के बीच अंतर करने का कोई तरीका नहीं था।"

एंथ्रोपिक में स्थिति शिक्षा में चल रहे एक व्यापक संघर्ष को दर्शाती है। दुनिया भर के स्कूल और विश्वविद्यालय एआई-सहायता प्राप्त धोखाधड़ी के निहितार्थों से जूझ रहे हैं। छात्र अब एआई का उपयोग निबंध लिखने, जटिल समीकरणों को हल करने और यहां तक कि कोड उत्पन्न करने के लिए कर सकते हैं, जिससे पारंपरिक मूल्यांकन विधियों की वैधता के बारे में सवाल उठते हैं। तथ्य यह है कि एंथ्रोपिक जैसी एआई लैब को इसी तरह की दुविधा का सामना करना पड़ रहा है, इस मुद्दे की व्यापकता को रेखांकित करता है।

हालांकि, एंथ्रोपिक इस चुनौती का सामना करने के लिए विशिष्ट रूप से स्थित है। एक अग्रणी एआई अनुसंधान कंपनी के रूप में, इसके पास उपन्यास मूल्यांकन विधियों को विकसित करने की तकनीकी विशेषज्ञता है जो मानव और एआई-जनित कार्य के बीच प्रभावी ढंग से अंतर कर सकती हैं। कंपनी विभिन्न समाधानों की खोज कर रही है, जिसमें अधिक खुले अंत वाले, रचनात्मक समस्या-समाधान कार्यों को शामिल करना शामिल है जिन्हें एआई के लिए दोहराना मुश्किल है। वे एआई-जनित कोड का पता लगाने के तरीकों की भी जांच कर रहे हैं, हालांकि यह एक लगातार विकसित होने वाला क्षेत्र है।

इस स्थिति के निहितार्थ तकनीकी साक्षात्कारों के दायरे से परे हैं। जैसे-जैसे एआई आगे बढ़ता रहेगा, मानव कौशल और क्षमताओं का सटीक आकलन करना तेजी से मुश्किल होता जाएगा। इसके शिक्षा, रोजगार और यहां तक कि मानव बुद्धि की परिभाषा पर भी दूरगामी परिणाम हो सकते हैं।

एंथ्रोपिक के इंजीनियरों और उनके एआई मॉडल के बीच चल रही लड़ाई एआई के युग में मूल्यांकन पर मौलिक पुनर्विचार की आवश्यकता पर प्रकाश डालती है। यह एक ऐसी चुनौती है जिसके लिए रचनात्मकता, नवाचार और तेजी से बदलती तकनीकी परिदृश्य के अनुकूल होने की इच्छा की आवश्यकता होगी। मूल्यांकन का भविष्य मशीनों से एक कदम आगे रहने की हमारी क्षमता पर निर्भर हो सकता है।