बड़े भाषा मॉडल (LLM) API की लागत को सिमेंटिक कैशिंग लागू करके काफी कम किया जा सकता है, ऐसा श्रीनिवास रेड्डी हुलेबेडु रेड्डी के अनुसार है, जो एक मशीन लर्निंग पेशेवर हैं जिन्होंने अपने LLM API बिल में महीने-दर-महीने 30% की वृद्धि देखी। रेड्डी ने पाया कि उपयोगकर्ता एक ही प्रश्न को अलग-अलग तरीकों से पूछ रहे थे, जिससे LLM को अनावश्यक कॉल और अनावश्यक खर्च हो रहा था।
रेड्डी ने पाया कि पारंपरिक, सटीक-मिलान कैशिंग, जो क्वेरी टेक्स्ट को कैश कुंजी के रूप में उपयोग करता है, इन अनावश्यक कॉलों में से केवल 18% को ही पकड़ पाया। उदाहरण के लिए, "आपकी वापसी नीति क्या है?", "मैं कुछ कैसे वापस करूँ?", और "क्या मुझे रिफंड मिल सकता है?" जैसी क्वेरीज़ सभी एक ही अंतर्निहित अर्थ होने के बावजूद कैश को बायपास कर देंगी। रेड्डी ने समझाया, "उपयोगकर्ता एक ही प्रश्न को अलग-अलग तरीकों से पूछते हैं, जिससे लगभग समान प्रतिक्रियाएँ उत्पन्न होती हैं, जिनमें से प्रत्येक में पूरी API लागत लगती है।"
इसे संबोधित करने के लिए, रेड्डी ने सिमेंटिक कैशिंग लागू किया, जो क्वेरी के सटीक शब्दों के बजाय उनके अर्थ पर केंद्रित है। इस दृष्टिकोण ने कैश हिट दर को 67% तक बढ़ा दिया, जिसके परिणामस्वरूप LLM API लागत में 73% की कमी आई। सिमेंटिक कैशिंग, क्वेरी के पीछे के इरादे को समझने और कैश से उपयुक्त प्रतिक्रिया प्राप्त करने के लिए प्राकृतिक भाषा प्रसंस्करण (NLP) से तकनीकों का लाभ उठाता है, भले ही क्वेरी को अलग तरीके से वाक्यांशित किया गया हो।
LLM API लागत में वृद्धि AI-संचालित अनुप्रयोगों का उपयोग करने वाले व्यवसायों और डेवलपर्स के लिए एक बढ़ती चिंता है। जैसे-जैसे LLM विभिन्न सेवाओं में अधिक एकीकृत होते जाते हैं, API उपयोग को अनुकूलित करना और खर्चों को कम करना महत्वपूर्ण होता जाता है। सिमेंटिक कैशिंग अनावश्यक गणनाओं को कम करके और दक्षता में सुधार करके एक संभावित समाधान प्रदान करता है।
हालांकि, सिमेंटिक कैशिंग को प्रभावी ढंग से लागू करने के लिए सावधानीपूर्वक विचार करने की आवश्यकता है। наив कार्यान्वयन भाषा में बारीकियों को याद कर सकते हैं और क्वेरी के अर्थ को सटीक रूप से पकड़ने में विफल हो सकते हैं। इष्टतम प्रदर्शन प्राप्त करने के लिए परिष्कृत NLP मॉडल और सावधानीपूर्वक ट्यूनिंग अक्सर आवश्यक होती है। सिमेंटिक कैशिंग के लिए उपयोग की जाने वाली विशिष्ट तकनीकें भिन्न हो सकती हैं, लेकिन आम तौर पर क्वेरी को एक वेक्टर स्पेस में एम्बेड करना और सिमेंटिक रूप से समान क्वेरी की पहचान करने के लिए समानता मेट्रिक्स का उपयोग करना शामिल होता है।
सिमेंटिक कैशिंग का विकास LLM की दक्षता और लागत-प्रभावशीलता में सुधार के लिए चल रहे प्रयासों पर प्रकाश डालता है। जैसे-जैसे AI तकनीक आगे बढ़ती जा रही है, सिमेंटिक कैशिंग जैसे नवाचार LLM को अनुप्रयोगों की एक विस्तृत श्रृंखला के लिए अधिक सुलभ और टिकाऊ बनाने में महत्वपूर्ण भूमिका निभाएंगे। निहितार्थ लागत बचत से परे हैं, संभावित रूप से सामान्य प्रश्नों के लिए कैश की गई प्रतिक्रियाओं का लाभ उठाकर अधिक उत्तरदायी और व्यक्तिगत उपयोगकर्ता अनुभव को सक्षम करते हैं।
AI-Assisted Journalism
This article was generated with AI assistance, synthesizing reporting from multiple credible news sources. Our editorial team reviews AI-generated content for accuracy.
Deep insights powered by AI
Continue exploring
नासा ने रहने योग्य एक्सोप्लैनेट की खोज में जेम्स वेब स्पेस टेलीस्कोप की क्षमताओं को बढ़ाने के लिए पेंडोरा मिशन लॉन्च किया है। पेंडोरा, एक छोटा उपग्रह, दूर के ग्रहों के सिस्टम की रासायनिक संरचना का विश्लेषण करने, जल वाष्प, कार्बन डाइऑक्साइड और मीथेन के संकेतों की तलाश करने के लिए वेब के साथ मिलकर काम करेगा।
Google Play Store की स्पष्ट नीतियों के बावजूद, जो बिना सहमति वाली या यौनिकृत तस्वीरें, विशेष रूप से बच्चों की, उत्पन्न करने वाले ऐप्स को प्रतिबंधित करती हैं, एलन मस्क का Grok AI ऐप "किशोर" रेटिंग के साथ उपलब्ध है। यह विसंगति Google द्वारा प्रवर्तन की कमी को उजागर करती है, जो Apple के सख्त लेकिन कम स्पष्ट रूप से परिभाषित ऐप सामग्री प्रतिबंधों के विपरीत है, जिससे प्लेटफ़ॉर्म की ज़िम्मेदारी और उपयोगकर्ता सुरक्षा के बारे में चिंताएँ बढ़ रही हैं।
उच्चतम न्यायालय FCC के जुर्माना लगाने के अधिकार की समीक्षा करने के लिए तैयार है, विशेष रूप से उस मामले के संबंध में जहाँ प्रमुख कैरियर्स पर सहमति के बिना ग्राहक के स्थान का डेटा बेचने के लिए जुर्माना लगाया गया था, जिससे एजेंसी की शक्ति और संभावित सातवें संशोधन के निहितार्थों के बारे में सवाल उठते हैं। यह कानूनी चुनौती दूरसंचार के लिए नियामक परिदृश्य को फिर से आकार दे सकती है, जिससे FCC उपभोक्ता गोपनीयता और डेटा सुरक्षा नियमों को कैसे लागू करता है, इस पर असर पड़ेगा, जो कि AI-संचालित डेटा संग्रह और विश्लेषण पर तेजी से निर्भर युग में है।
पॉम्पी के सार्वजनिक स्नानघर, जो 79 ईस्वी में माउंट वेसुवियस के विस्फोट से संरक्षित हैं, शहर के विकसित जल प्रबंधन में अंतर्दृष्टि प्रदान करते हैं। कैल्शियम कार्बोनेट के जमाव का विश्लेषण करने वाले एक नए अध्ययन से पता चलता है कि वर्षा जल और कुओं पर निर्भरता से एक अधिक जटिल जलसेतु प्रणाली की ओर बदलाव हुआ है, जो रोमन इंजीनियरिंग और शहरी विकास में प्रगति को दर्शाता है। इस बदलाव से संभवतः प्राचीन भूमध्यसागरीय दुनिया के एक प्रमुख केंद्र, व्यस्त बंदरगाह शहर में स्वच्छता और सार्वजनिक स्वास्थ्य में सुधार हुआ।
एनवीडिया का रूबीन प्लेटफॉर्म रैक-स्केल एन्क्रिप्शन पेश करता है, जो सीपीयू, जीपीयू और एनवीलिंक में गोपनीय कंप्यूटिंग को सक्षम करके एआई सुरक्षा में एक बड़ी प्रगति है, जो तेजी से महंगे एआई मॉडल पर साइबर हमलों के बढ़ते खतरे को संबोधित करता है। यह तकनीक उद्यमों को सुरक्षा को क्रिप्टोग्राफ़िक रूप से सत्यापित करने की अनुमति देती है, जो विश्वास-आधारित क्लाउड सुरक्षा पर निर्भरता से आगे बढ़ती है, जो एआई प्रशिक्षण की बढ़ती लागत और एआई मॉडल उल्लंघनों की बढ़ती आवृत्ति को देखते हुए महत्वपूर्ण है।
ट्रम्प प्रशासन की EPA एक नीतिगत बदलाव पर विचार कर रही है जिसके तहत नियामक निर्णय लेते समय वायु प्रदूषण को कम करने के स्वास्थ्य लाभों को अनदेखा किया जाएगा, जिससे दशकों से चली आ रही उस स्थापित प्रथा को पलटा जा सकता है जिसमें मानव जीवन के आर्थिक मूल्य को ध्यान में रखा जाता है। इस बदलाव से सार्वजनिक स्वास्थ्य पर महत्वपूर्ण प्रभाव पड़ सकता है, क्योंकि इससे ओजोन और महीन कणों जैसे प्रदूषकों पर कमजोर नियम बन सकते हैं, ये दोनों ही गंभीर हृदय रोगों से जुड़े हैं। इस कदम से पर्यावरण संरक्षण के भविष्य और पर्यावरणीय नियमों के सही लागत-लाभ विश्लेषण का आकलन करने में AI की भूमिका के बारे में चिंताएं बढ़ रही हैं।
सिमेंटिक कैशिंग, जो सटीक शब्दों के बजाय प्रश्नों के अर्थ पर ध्यान केंद्रित करता है, अर्थपूर्ण रूप से समान प्रश्नों के उत्तरों की पहचान करके और उनका पुन: उपयोग करके LLM API लागत को बहुत कम कर सकता है। पारंपरिक सटीक-मिलान कैशिंग अक्सर इन अनावश्यकताओं को पकड़ने में विफल रहता है, जिससे अनावश्यक खर्च होता है, लेकिन सिमेंटिक कैशिंग को लागू करने से कैश हिट दरें बढ़ सकती हैं और LLM बिलों को काफी कम किया जा सकता है।
एन्थ्रोपिक का कोवर्क, जो अब मैक्स सब्सक्राइबर्स के लिए रिसर्च प्रीव्यू में है, क्लाउड को एक उपयोगकर्ता-अनुकूल चैट इंटरफेस के माध्यम से निर्दिष्ट फ़ोल्डरों के साथ इंटरैक्ट करने की अनुमति देकर AI-संचालित फ़ाइल प्रबंधन को सरल बनाता है। क्लाउड एजेंट SDK पर निर्मित, कोवर्क क्लाउड कोड का एक कम तकनीकी विकल्प प्रदान करता है, जो व्यय रिपोर्ट बनाने जैसे गैर-कोडिंग कार्यों के लिए संभावनाओं को खोलता है, जबकि AI स्वायत्तता के प्रबंधन के लिए विचारों को बढ़ाता है।
पेबल के संस्थापक, एरिक मिगिकोव्स्की, कोर डिवाइसेस लॉन्च कर रहे हैं, जो एक पेबल स्मार्टवॉच रीबूट और एक एआई रिंग के लिए एक टिकाऊ व्यवसाय मॉडल पर ध्यान केंद्रित कर रहे हैं, और पारंपरिक वेंचर-समर्थित स्टार्टअप की कमियों से बच रहे हैं। कोर डिवाइसेस का लक्ष्य इन्वेंट्री को सावधानीपूर्वक प्रबंधित करके और बाहरी फंडिंग को त्यागकर, फिटबिट द्वारा पेबल के अधिग्रहण से सीखे गए सबक का लाभ उठाकर, शुरुआत से ही लाभप्रदता प्राप्त करना है। यह दृष्टिकोण उपभोक्ता इलेक्ट्रॉनिक्स क्षेत्र में दीर्घकालिक व्यवहार्यता की ओर एक बदलाव का संकेत देता है, जो तेजी से विस्तार पर मापे गए विकास को प्राथमिकता देता है।
कई समाचार स्रोतों के अनुसार, मैकेंज़ी स्कॉट ने LGBTQ युवाओं का समर्थन करने वाले एक गैर-लाभकारी संगठन, द ट्रेवर प्रोजेक्ट को $45 मिलियन का दान दिया है, जो उनका अब तक का सबसे बड़ा एकल दान है और सेवाओं की बढ़ती मांग और ट्रम्प प्रशासन द्वारा संबंधित संघीय परामर्श कार्यक्रमों को बंद करने के बाद एक महत्वपूर्ण बढ़ावा है। इस दान का उद्देश्य संगठन की पहुंच का विस्तार करना और LGBTQ युवाओं द्वारा सामना की जाने वाली बढ़ी हुई मानसिक स्वास्थ्य चुनौतियों और राजनीतिक शत्रुता को संबोधित करना है, जिन्होंने आत्महत्या के विचारों में वृद्धि का अनुभव किया है।
एन्थ्रोपिक ने स्वास्थ्य सेवा के लिए क्लाउड (Claude for Healthcare) का अनावरण किया है, जो प्रदाताओं, भुगतानकर्ताओं और रोगियों के लिए स्वास्थ्य सेवा प्रक्रियाओं को सुव्यवस्थित करने के लिए डिज़ाइन किए गए एआई उपकरणों का एक सूट है, जो OpenAI की ChatGPT हेल्थ घोषणा को दर्शाता है। क्लाउड खुद को कनेक्टर्स के साथ अलग करता है जो महत्वपूर्ण डेटाबेस तक पहुंच की अनुमति देते हैं, संभावित रूप से अनुसंधान और प्रशासनिक कार्यों को गति प्रदान करते हैं, हालांकि एआई-संचालित चिकित्सा सलाह की विश्वसनीयता के बारे में चिंताएं बनी हुई हैं।
GoFundMe एक ICE एजेंट के लिए धन जुटाने को लेकर जांच के दायरे में है, जिसने एक नागरिक को घातक रूप से गोली मार दी थी, जिससे संभवतः हिंसक अपराधों के लिए कानूनी बचाव का समर्थन करने के खिलाफ अपनी ही नीति का उल्लंघन हो रहा है। इससे प्लेटफ़ॉर्म की सामग्री मॉडरेशन और कानून प्रवर्तन और नागरिक मौतों से जुड़े मामलों में क्राउडफंडिंग के नैतिक निहितार्थों के बारे में सवाल उठते हैं, जो AI-संचालित सामग्री नीतियों को लगातार लागू करने की चुनौतियों को उजागर करते हैं। FBI वर्तमान में गोलीबारी की जांच कर रही है।
Discussion
Join the conversation
Be the first to comment