Nvidia ने नए वेक्टर डेटाबेस से LLM लागत 8x घटाई

महत्वपूर्ण नियम:
1. मूल लहज़ा, शैली और अर्थ को बनाए रखें
2. किसी भी HTML टैग या मार्कडाउन फ़ॉर्मेटिंग को ठीक वैसे ही संरक्षित करें जैसे वे हैं
3. तकनीकी शब्दों को सटीक रखें
4. हिन्दी भाषी लोगों के लिए सांस्कृतिक उपयुक्तता सुनिश्चित करें
5. केवल अनुवाद लौटाएँ - कोई स्पष्टीकरण नहीं, कोई उपसर्ग नहीं, कोई उद्धरण नहीं
6. "यहाँ अनुवाद है:" या "अनुवाद:" जैसे वाक्यांश न जोड़ें
7. अनुवाद को उद्धरण चिह्नों में न लपेटें

Nvidia के शोधकर्ताओं ने एक नई तकनीक, डायनेमिक मेमोरी स्पार्सिफिकेशन (DMS) विकसित की है, जिसने कई रिपोर्टों के अनुसार, बड़े भाषा मॉडल (LLMs) की मेमोरी आवश्यकताओं को आठ गुना कम कर दिया है। यह सफलता, vdb नामक एक हल्के C लाइब्रेरी के विकास के साथ मिलकर, वास्तविक दुनिया के अनुप्रयोगों में LLMs को व्यापक रूप से अपनाने में बाधा डालने वाली कम्प्यूटेशनल बाधाओं को काफी कम करने का वादा करती है।

रिपोर्टों के अनुसार, DMS तकनीक की-वैल्यू (KV) कैश को संपीड़ित करती है, जिससे LLMs गति या सटीकता से समझौता किए बिना अधिक जानकारी संसाधित कर सकते हैं। इस नवाचार से LLMs को "अधिक सोचने" और अधिक समाधानों का पता लगाने में मदद मिलती है, जिससे उद्यम अपनाने में एक बड़ी बाधा दूर हो सकती है, जैसा कि VentureBeat की एक रिपोर्ट में कहा गया है।

साथ ही, vdb नामक एक हेडर-ओनली C लाइब्रेरी बनाई गई है जो उच्च-आयामी वेक्टर एम्बेडिंग को कुशलतापूर्वक संग्रहीत और खोज सकती है। Hacker News पर विस्तृत जानकारी के अनुसार, यह लाइब्रेरी कई दूरी मेट्रिक्स (कोसाइन, यूक्लिडियन, डॉट प्रोडक्ट), वैकल्पिक मल्टीथ्रेडिंग समर्थन, और डिस्क से और उस पर डेटाबेस को सहेजने और लोड करने की क्षमता जैसी सुविधाएँ प्रदान करती है। लाइब्रेरी को हल्का बनाया गया है, जिसमें मल्टीथ्रेडिंग के लिए pthreads के अलावा कोई निर्भरता नहीं है।

vdb लाइब्रेरी को एक ही हेडर फ़ाइल, vdb.h में लागू किया गया है। इसका उपयोग हेडर फ़ाइल को शामिल करने और C कंपाइलर के साथ संकलित करने में शामिल है। लाइब्रेरी उपयोगकर्ताओं को एक डेटाबेस बनाने, वेक्टर जोड़ने और विभिन्न दूरी मेट्रिक्स का उपयोग करके समान वेक्टर खोजने की अनुमति देती है। Hacker News पर उल्लेखित Python बाइंडिंग भी उपलब्ध हैं।

DMS और vdb का संयोजन LLMs की लागत को कम करने और प्रदर्शन में सुधार करने का एक आशाजनक समाधान प्रदान करता है। KV कैश को संपीड़ित करके और एक कुशल वेक्टर डेटाबेस प्रदान करके, Nvidia का लक्ष्य LLMs को अधिक सुलभ और अनुप्रयोगों की एक विस्तृत श्रृंखला के लिए व्यावहारिक बनाना है।