एमआईटी (MIT) के कंप्यूटर साइंस एंड आर्टिफिशियल इंटेलिजेंस लेबोरेटरी (CSAIL) के शोधकर्ताओं ने एक नया "रिकर्सिव" ढांचा विकसित किया है जो बड़े भाषा मॉडल (LLM) को 10 मिलियन तक के टोकन वाले प्रॉम्प्ट को प्रोसेस करने की अनुमति देता है, बिना संदर्भ रोट (context rot) के शिकार हुए, जो एक आम समस्या है जो इनपुट की लंबाई बढ़ने पर प्रदर्शन को कम करती है। इस अभिनव दृष्टिकोण को रिकर्सिव लैंग्वेज मॉडल (RLM) के रूप में जाना जाता है, जो व्यापक प्रॉम्प्ट को एक बाहरी वातावरण के रूप में मानता है जिसके साथ LLM प्रोग्रामेटिक रूप से बातचीत कर सकता है।

पूरे प्रॉम्प्ट को मॉडल की सीमित संदर्भ विंडो में डालने के बजाय, RLM ढांचा LLM को टेक्स्ट के छोटे, अधिक प्रबंधनीय स्निपेट्स पर खुद को जांचने, विघटित करने और रिकर्सिव रूप से कॉल करने में सक्षम बनाता है। यह विधि लंबी-संदर्भ तर्क को एक सिस्टम समस्या के रूप में फिर से परिभाषित करती है, जिससे मॉडल कोड के साथ प्रॉम्प्ट का निरीक्षण कर सकते हैं। एमआईटी टीम के अनुसार, यह LLM को पुन: प्रशिक्षण की आवश्यकता के बिना लाखों टोकन पर तर्क करने की अनुमति देता है।

यह ढांचा मौजूदा LLM के चारों ओर एक रैपर के रूप में कार्य करता है, जिससे यह उन अनुप्रयोगों के लिए संभावित ड्रॉप-इन रिप्लेसमेंट बन जाता है जो वर्तमान में इन मॉडलों को सीधे कॉल करते हैं। एकीकरण में यह आसानी विभिन्न उद्योगों में इसके अपनाने को गति दे सकती है।

यह विकास कृत्रिम बुद्धिमत्ता के क्षेत्र में एक महत्वपूर्ण चुनौती का समाधान करता है: "LLM संदर्भ समस्या"। जबकि उन्नत मॉडल तर्क में बढ़ती परिष्कार का प्रदर्शन करते हैं, लेकिन बड़ी मात्रा में जानकारी को संसाधित करने की उनकी क्षमता सीमित रहती है। पारंपरिक दृष्टिकोण में संदर्भ विंडो का विस्तार करना या पुरानी जानकारी को संक्षेप में प्रस्तुत करना शामिल है, लेकिन ये विधियां अक्सर अपर्याप्त साबित होती हैं या अशुद्धियाँ पेश करती हैं।

एमआईटी के शोधकर्ताओं का तर्क है कि RLM लंबी-क्षितिज कार्यों के लिए अधिक व्यावहारिक समाधान प्रदान करते हैं जो अक्सर वर्तमान मॉडल को अभिभूत कर देते हैं। ऐसे कार्यों के उदाहरणों में व्यापक कोडेबेस विश्लेषण, गहन कानूनी समीक्षा और जटिल बहु-चरणीय तर्क प्रक्रियाएं शामिल हैं। LLM को इन कार्यों को प्रभावी ढंग से संभालने में सक्षम करके, इस ढांचे में विभिन्न पेशेवर क्षेत्रों में उत्पादकता और निर्णय लेने में काफी वृद्धि करने की क्षमता है।

इस तकनीक के निहितार्थ तत्काल व्यावहारिक अनुप्रयोगों से परे हैं। संदर्भ विंडो की सीमाओं को दूर करके, RLM अधिक परिष्कृत AI सिस्टम के लिए मार्ग प्रशस्त कर सकते हैं जो जटिल, दीर्घकालिक परियोजनाओं और विश्लेषणों को संभालने में सक्षम हैं। इससे वैज्ञानिक अनुसंधान, वित्तीय मॉडलिंग और रणनीतिक योजना जैसे क्षेत्रों में प्रगति हो सकती है।

एमआईटी टीम वर्तमान में RLM ढांचे के आगे के अनुप्रयोगों की खोज कर रही है और इसके प्रदर्शन को अनुकूलित करने के लिए काम कर रही है। उनका अनुमान है कि यह तकनीक AI के भविष्य के विकास में महत्वपूर्ण भूमिका निभाएगी, जिससे मॉडल तेजी से जटिल और मांगलिक कार्यों से निपट सकेंगे। यह शोध मॉडल के आकार को बढ़ाने से लेकर जानकारी को संसाधित करने के लिए अधिक बुद्धिमान और कुशल तरीकों को विकसित करने पर ध्यान केंद्रित करने में बदलाव को उजागर करता है।