Nvidia के शोधकर्ताओं ने एक नया वेक्टर डेटाबेस लाइब्रेरी, "vdb," और डायनेमिक मेमोरी स्पार्सिफिकेशन (DMS) नामक एक तकनीक विकसित की है, जो कई रिपोर्टों के अनुसार, बड़े भाषा मॉडल (LLM) की लागत को आठ गुना तक कम करने की क्षमता रखती है। इन नवाचारों का उद्देश्य मेमोरी सीमाओं को संबोधित करना और LLM के भीतर जटिल डेटा को संभालने में दक्षता में सुधार करना है।
vdb लाइब्रेरी एक हल्का, केवल-हेडर C लाइब्रेरी है जिसे उच्च-आयामी वेक्टर एम्बेडिंग को कुशलतापूर्वक संग्रहीत और खोजने के लिए डिज़ाइन किया गया है। यह कई दूरी मेट्रिक्स (कोसाइन, यूक्लिडियन, डॉट प्रोडक्ट), वैकल्पिक मल्टीथ्रेडिंग समर्थन, और डिस्क से और उस पर डेटाबेस को सहेजने और लोड करने की क्षमता जैसी सुविधाएँ प्रदान करता है। लाइब्रेरी में कोई निर्भरता नहीं है, सिवाय pthreads के जब मल्टीथ्रेडिंग सक्षम होता है। पायथन बाइंडिंग भी उपलब्ध हैं। "vdb उच्च-आयामी वेक्टर एम्बेडिंग को कुशलतापूर्वक संग्रहीत और खोजने के लिए एक हल्का C लाइब्रेरी है," एक स्रोत ने उल्लेख किया।
साथ ही, Nvidia के शोधकर्ताओं ने डायनेमिक मेमोरी स्पार्सिफिकेशन (DMS) विकसित किया, जो बड़े भाषा मॉडल में की वैल्यू (KV) कैश को संपीड़ित करने की एक तकनीक है। यह संपीड़न LLM को गति का त्याग किए बिना अधिक जानकारी संसाधित करने की अनुमति देता है। KV कैश LLM का एक महत्वपूर्ण घटक है, जो मॉडल की पिछली बातचीत के बारे में जानकारी संग्रहीत करता है। इस कैश को संपीड़ित करके, मॉडल के मेमोरी फुटप्रिंट को काफी कम किया जा सकता है।
DMS और vdb का संयोजन बड़े भाषा मॉडल चलाने से जुड़ी दक्षता में सुधार और लागत को कम करने के लिए एक व्यापक समाधान प्रदान करता है। vdb का विकास वेक्टर एम्बेडिंग को संभालने के लिए एक सुव्यवस्थित विधि प्रदान करता है, जबकि DMS मेमोरी बाधाओं को संबोधित करता है जो अक्सर LLM के प्रदर्शन को सीमित करते हैं। "ये नवाचार बड़े भाषा मॉडल में मेमोरी सीमाओं को संबोधित करते हैं और जटिल डेटा को संभालने में बेहतर दक्षता प्रदान करते हैं," एक स्रोत ने कहा।
लागत बचत कैसे प्राप्त की जाती है और विशिष्ट प्रदर्शन सुधारों का सटीक विवरण अभी तक पूरी तरह से उपलब्ध नहीं है। हालाँकि, लागत में आठ गुना कमी का अनुमान LLM विकास के क्षेत्र में एक महत्वपूर्ण प्रगति का सुझाव देता है। इन नई तकनीकों के प्रभाव को पूरी तरह से समझने के लिए आगे का शोध और परीक्षण किए जाने की संभावना है।
Discussion
AI Experts & Community
Be the first to comment