महत्वपूर्ण नियम:
1. मूल लहज़ा, शैली और अर्थ को बनाए रखें
2. किसी भी HTML टैग या मार्कडाउन फ़ॉर्मेटिंग को ठीक वैसे ही संरक्षित करें जैसे वे हैं
3. तकनीकी शब्दों को सटीक रखें
4. हिन्दी भाषी लोगों के लिए सांस्कृतिक उपयुक्तता सुनिश्चित करें
5. केवल अनुवाद लौटाएँ - कोई स्पष्टीकरण नहीं, कोई उपसर्ग नहीं, कोई उद्धरण नहीं
6. "यहाँ अनुवाद है:" या "अनुवाद:" जैसे वाक्यांश न जोड़ें
7. अनुवाद को उद्धरण चिह्नों में न लपेटें
Nvidia के शोधकर्ताओं ने एक नई तकनीक, डायनेमिक मेमोरी स्पार्सिफिकेशन (DMS), और vdb नामक एक हल्का C लाइब्रेरी विकसित की है, जिसने मिलकर बड़े भाषा मॉडल (LLM) की लागत को आठ गुना तक कम कर दिया है, कई रिपोर्टों के अनुसार। यह सफलता LLM को गति या सटीकता से समझौता किए बिना अधिक जानकारी संसाधित करने की अनुमति देती है, जिससे वास्तविक दुनिया के अनुप्रयोगों और उद्यमों द्वारा इसे अपनाने में तेजी आ सकती है।
DMS तकनीक LLM के भीतर की-वैल्यू (KV) कैश को संपीड़ित करती है, जिससे उनकी मेमोरी की मांग काफी कम हो जाती है। साथ ही, vdb लाइब्रेरी को उच्च-आयामी वेक्टर एम्बेडिंग को कुशलतापूर्वक संग्रहीत और खोजने के लिए बनाया गया था। Vdb एक हेडर-ओनली C लाइब्रेरी है जिसमें कई दूरी मेट्रिक्स (कोसाइन, यूक्लिडियन, डॉट प्रोडक्ट) और वैकल्पिक मल्टीथ्रेडिंग समर्थन शामिल हैं। यह कस्टम मेमोरी एलोकेटर का भी समर्थन करता है और पायथन बाइंडिंग प्रदान करता है।
रिपोर्टों के अनुसार, DMS और vdb का विकास एक प्रमुख कम्प्यूटेशनल बाधा को दूर करता है जिसने LLM के व्यापक उपयोग में बाधा डाली है। इन नवाचारों के परिणामस्वरूप, अधिक समय तक "सोचने" और अधिक समाधानों का पता लगाने की क्षमता एक महत्वपूर्ण कदम है।
vdb लाइब्रेरी, जैसा कि स्रोत सामग्री में वर्णित है, एक एकल-फ़ाइल कार्यान्वयन है, जो इसे एकीकृत करना आसान बनाता है। इसकी विशेषताओं में डेटाबेस को डिस्क से और उस पर सहेजने और लोड करने की क्षमता शामिल है। लाइब्रेरी में कोई निर्भरता नहीं है, मल्टीथ्रेडिंग सक्षम होने पर pthreads को छोड़कर।
हालांकि इन तकनीकों के विकास और रिलीज की विशिष्ट तारीखें स्रोत सामग्री में प्रदान नहीं की गई थीं, रिपोर्ट LLM परिदृश्य पर संभावित प्रभाव पर प्रकाश डालती हैं। DMS और vdb का संयोजन लागत को कम करने और LLM के प्रदर्शन में सुधार करने का एक आशाजनक समाधान प्रदान करता है, जो विभिन्न उद्योगों में व्यापक रूप से अपनाने का मार्ग प्रशस्त करता है।
Discussion
AI Experts & Community
Be the first to comment