डीपसीक का "कंडीशनल मेमोरी" पर शोध बड़े भाषा मॉडल (एलएलएम) में स्थिर जानकारी तक पहुँचने के दौरान जीपीयू गणना के अक्षम उपयोग को संबोधित करना चाहता है। नए जारी किए गए अध्ययन में Engram नामक एक मॉड्यूल पेश किया गया है, जिसे स्थिर पैटर्न पुनर्प्राप्ति को गतिशील तर्क से अलग करने के लिए डिज़ाइन किया गया है, जिससे संभावित रूप से महत्वपूर्ण कम्प्यूटेशनल संसाधनों की बचत हो सकती है।
अनुसंधान के अनुसार, एंटरप्राइज़ एलएलएम जटिल तर्क के लिए डिज़ाइन किए गए महंगे जीपीयू गणना का उपयोग अक्सर केवल स्थिर जानकारी जैसे उत्पाद नाम, तकनीकी विनिर्देश या मानक अनुबंध खंडों को पुनः प्राप्त करने के लिए करते हैं। ये लुकअप प्रतिदिन लाखों बार होते हैं, जिससे कम्प्यूटेशनल चक्र बर्बाद होते हैं और बुनियादी ढांचे की लागत बढ़ जाती है। सह-लेखक और संस्थापक लियांग वेनफेंग सहित डीपसीक टीम ने इस प्रक्रिया को अनुकूलित करने की मांग की।
व्यवस्थित प्रयोग के माध्यम से, डीपसीक ने निर्धारित किया कि विरल मॉडल क्षमता का 75% गतिशील तर्क के लिए और 25% स्थिर लुकअप के लिए आवंटित करने से गणना और मेमोरी के बीच इष्टतम संतुलन प्राप्त होता है। परिणामों से संकेत मिलता है कि इस मेमोरी सिस्टम ने ज्ञान पुनर्प्राप्ति की तुलना में तर्क क्षमताओं में अधिक महत्वपूर्ण सुधार किया। बिग-बेंच हार्ड का उपयोग करके मापे गए जटिल तर्क बेंचमार्क स्कोर 70% से बढ़कर 74% सटीकता हो गए, जबकि ज्ञान-केंद्रित परीक्षणों में 57% से 61% का सुधार हुआ।
इस शोध के निहितार्थ मात्र दक्षता लाभ से परे हैं। एलएलएम जिस तरह से जानकारी तक पहुँचते हैं और संसाधित करते हैं, उसे अनुकूलित करके, डीपसीक का काम तंत्रिका नेटवर्क में मेमोरी की भूमिका के बारे में मौलिक मान्यताओं को चुनौती देता है। Engram मॉड्यूल मेमोरी आवंटन के लिए अधिक सूक्ष्म दृष्टिकोण की अनुमति देता है, जो संभावित रूप से अधिक कुशल और शक्तिशाली एआई सिस्टम के लिए मार्ग प्रशस्त करता है।
यह विकास ऐसे समय में आया है जब बड़े भाषा मॉडल की ऊर्जा खपत और पर्यावरणीय प्रभाव की बढ़ती जांच हो रही है। स्थिर जानकारी पुनर्प्राप्ति से जुड़े कम्प्यूटेशनल ओवरहेड को कम करके, डीपसीक का कंडीशनल मेमोरी दृष्टिकोण अधिक टिकाऊ एआई विकास में योगदान कर सकता है। विभिन्न एलएलएम आर्किटेक्चर और अनुप्रयोगों में Engram की स्केलेबिलिटी और सामान्यता का पता लगाने के लिए आगे के शोध की आवश्यकता है।
Discussion
Join the conversation
Be the first to comment