कई कंपनियाँ लार्ज लैंग्वेज मॉडल (LLM) API के उपयोग के लिए अप्रत्याशित रूप से उच्च बिलों का सामना कर रही हैं, जिससे लागत प्रभावी समाधानों की तलाश बढ़ गई है। श्रीनिवास रेड्डी हुलेबेडु रेड्डी ने क्वेरी लॉग के हालिया विश्लेषण में पाया कि LLM लागत का एक महत्वपूर्ण हिस्सा उपयोगकर्ताओं द्वारा अलग-अलग तरीकों से एक ही प्रश्न पूछने से उत्पन्न हुआ।
रेड्डी ने पाया कि उनकी कंपनी के LLM API पर ट्रैफ़िक बढ़ रहा था, लेकिन लागत 30% महीने-दर-महीने की अस्थिर दर से बढ़ रही थी। उन्होंने समझाया कि उपयोगकर्ता सिमेंटिक रूप से समान क्वेरी सबमिट कर रहे थे, जैसे "आपकी रिटर्न पॉलिसी क्या है?", "मैं कुछ कैसे वापस करूँ?", और "क्या मुझे रिफंड मिल सकता है?", जिन्हें LLM द्वारा अद्वितीय अनुरोधों के रूप में संसाधित किया जा रहा था, जिनमें से प्रत्येक पर पूर्ण API लागत लग रही थी।
पारंपरिक, सटीक-मिलान कैशिंग, जो क्वेरी टेक्स्ट को कैश कुंजी के रूप में उपयोग करती है, इस अतिरेक को दूर करने में अप्रभावी साबित हुई। रेड्डी ने कहा, "सटीक-मिलान कैशिंग ने इन अनावश्यक कॉलों में से केवल 18 को ही पकड़ा।" "वही सिमेंटिक प्रश्न, अलग ढंग से वाक्यांशित, पूरी तरह से कैश को बायपास कर गया।"
इससे निपटने के लिए, रेड्डी ने सिमेंटिक कैशिंग लागू किया, एक ऐसी तकनीक जो क्वेरी के सटीक शब्दों के बजाय उनके अर्थ पर ध्यान केंद्रित करती है। इस दृष्टिकोण से कैश हिट दर में उल्लेखनीय सुधार हुआ, जो 67% तक पहुँच गया, और अंततः LLM API लागत में 73% की कमी आई।
सिमेंटिक कैशिंग, सटीक-मिलान कैशिंग की सीमाओं को उपयोगकर्ता की क्वेरी के पीछे के इरादे को समझकर दूर करता है। केवल क्वेरी के टेक्स्ट की तुलना करने के बजाय, सिमेंटिक कैशिंग एम्बेडिंग या सिमेंटिक समानता एल्गोरिदम जैसी तकनीकों का उपयोग यह निर्धारित करने के लिए करता है कि क्या पहले से ही एक समान प्रश्न का उत्तर दिया गया है। यदि कैश में सिमेंटिक रूप से समान क्वेरी मौजूद है, तो सिस्टम कैश्ड प्रतिक्रिया को पुनः प्राप्त कर सकता है, जिससे LLM को फिर से कॉल करने की आवश्यकता नहीं होती है।
LLM API लागत में वृद्धि AI को अपने वर्कफ़्लो में एकीकृत करने वाले व्यवसायों के लिए एक बढ़ती चिंता है। जैसे-जैसे LLM अधिक प्रचलित होते जाते हैं, उनके उपयोग को अनुकूलित करना और लागत को कम करना महत्वपूर्ण होगा। सिमेंटिक कैशिंग इस चुनौती का समाधान करने के लिए एक आशाजनक दृष्टिकोण का प्रतिनिधित्व करता है, लेकिन, जैसा कि रेड्डी बताते हैं, सफल कार्यान्वयन के लिए भाषा और उपयोगकर्ता व्यवहार की बारीकियों पर सावधानीपूर्वक विचार करने की आवश्यकता होती है।
AI-Assisted Journalism
This article was generated with AI assistance, synthesizing reporting from multiple credible news sources. Our editorial team reviews AI-generated content for accuracy.
Deep insights powered by AI
Continue exploring
नासा ने रहने योग्य एक्सोप्लैनेट की खोज में जेम्स वेब स्पेस टेलीस्कोप की क्षमताओं को बढ़ाने के लिए पेंडोरा मिशन लॉन्च किया है। पेंडोरा, एक छोटा उपग्रह, दूर के ग्रहों के सिस्टम की रासायनिक संरचना का विश्लेषण करने, जल वाष्प, कार्बन डाइऑक्साइड और मीथेन के संकेतों की तलाश करने के लिए वेब के साथ मिलकर काम करेगा।
Google Play Store की स्पष्ट नीतियों के बावजूद, जो बिना सहमति वाली या यौनिकृत तस्वीरें, विशेष रूप से बच्चों की, उत्पन्न करने वाले ऐप्स को प्रतिबंधित करती हैं, एलन मस्क का Grok AI ऐप "किशोर" रेटिंग के साथ उपलब्ध है। यह विसंगति Google द्वारा प्रवर्तन की कमी को उजागर करती है, जो Apple के सख्त लेकिन कम स्पष्ट रूप से परिभाषित ऐप सामग्री प्रतिबंधों के विपरीत है, जिससे प्लेटफ़ॉर्म की ज़िम्मेदारी और उपयोगकर्ता सुरक्षा के बारे में चिंताएँ बढ़ रही हैं।
उच्चतम न्यायालय FCC के जुर्माना लगाने के अधिकार की समीक्षा करने के लिए तैयार है, विशेष रूप से उस मामले के संबंध में जहाँ प्रमुख कैरियर्स पर सहमति के बिना ग्राहक के स्थान का डेटा बेचने के लिए जुर्माना लगाया गया था, जिससे एजेंसी की शक्ति और संभावित सातवें संशोधन के निहितार्थों के बारे में सवाल उठते हैं। यह कानूनी चुनौती दूरसंचार के लिए नियामक परिदृश्य को फिर से आकार दे सकती है, जिससे FCC उपभोक्ता गोपनीयता और डेटा सुरक्षा नियमों को कैसे लागू करता है, इस पर असर पड़ेगा, जो कि AI-संचालित डेटा संग्रह और विश्लेषण पर तेजी से निर्भर युग में है।
पॉम्पी के सार्वजनिक स्नानघर, जो 79 ईस्वी में माउंट वेसुवियस के विस्फोट से संरक्षित हैं, शहर के विकसित जल प्रबंधन में अंतर्दृष्टि प्रदान करते हैं। कैल्शियम कार्बोनेट के जमाव का विश्लेषण करने वाले एक नए अध्ययन से पता चलता है कि वर्षा जल और कुओं पर निर्भरता से एक अधिक जटिल जलसेतु प्रणाली की ओर बदलाव हुआ है, जो रोमन इंजीनियरिंग और शहरी विकास में प्रगति को दर्शाता है। इस बदलाव से संभवतः प्राचीन भूमध्यसागरीय दुनिया के एक प्रमुख केंद्र, व्यस्त बंदरगाह शहर में स्वच्छता और सार्वजनिक स्वास्थ्य में सुधार हुआ।
एनवीडिया का रूबीन प्लेटफॉर्म रैक-स्केल एन्क्रिप्शन पेश करता है, जो सीपीयू, जीपीयू और एनवीलिंक में गोपनीय कंप्यूटिंग को सक्षम करके एआई सुरक्षा में एक बड़ी प्रगति है, जो तेजी से महंगे एआई मॉडल पर साइबर हमलों के बढ़ते खतरे को संबोधित करता है। यह तकनीक उद्यमों को सुरक्षा को क्रिप्टोग्राफ़िक रूप से सत्यापित करने की अनुमति देती है, जो विश्वास-आधारित क्लाउड सुरक्षा पर निर्भरता से आगे बढ़ती है, जो एआई प्रशिक्षण की बढ़ती लागत और एआई मॉडल उल्लंघनों की बढ़ती आवृत्ति को देखते हुए महत्वपूर्ण है।
ट्रम्प प्रशासन की EPA एक नीतिगत बदलाव पर विचार कर रही है जिसके तहत नियामक निर्णय लेते समय वायु प्रदूषण को कम करने के स्वास्थ्य लाभों को अनदेखा किया जाएगा, जिससे दशकों से चली आ रही उस स्थापित प्रथा को पलटा जा सकता है जिसमें मानव जीवन के आर्थिक मूल्य को ध्यान में रखा जाता है। इस बदलाव से सार्वजनिक स्वास्थ्य पर महत्वपूर्ण प्रभाव पड़ सकता है, क्योंकि इससे ओजोन और महीन कणों जैसे प्रदूषकों पर कमजोर नियम बन सकते हैं, ये दोनों ही गंभीर हृदय रोगों से जुड़े हैं। इस कदम से पर्यावरण संरक्षण के भविष्य और पर्यावरणीय नियमों के सही लागत-लाभ विश्लेषण का आकलन करने में AI की भूमिका के बारे में चिंताएं बढ़ रही हैं।
सिमेंटिक कैशिंग, जो सटीक शब्दों के बजाय प्रश्नों के अर्थ पर ध्यान केंद्रित करता है, अर्थपूर्ण रूप से समान प्रश्नों के उत्तरों की पहचान करके और उनका पुन: उपयोग करके LLM API लागत को बहुत कम कर सकता है। पारंपरिक सटीक-मिलान कैशिंग अक्सर इन अनावश्यकताओं को पकड़ने में विफल रहता है, जिससे अनावश्यक खर्च होता है, लेकिन सिमेंटिक कैशिंग को लागू करने से कैश हिट दरें बढ़ सकती हैं और LLM बिलों को काफी कम किया जा सकता है।
एन्थ्रोपिक का कोवर्क, जो अब मैक्स सब्सक्राइबर्स के लिए रिसर्च प्रीव्यू में है, क्लाउड को एक उपयोगकर्ता-अनुकूल चैट इंटरफेस के माध्यम से निर्दिष्ट फ़ोल्डरों के साथ इंटरैक्ट करने की अनुमति देकर AI-संचालित फ़ाइल प्रबंधन को सरल बनाता है। क्लाउड एजेंट SDK पर निर्मित, कोवर्क क्लाउड कोड का एक कम तकनीकी विकल्प प्रदान करता है, जो व्यय रिपोर्ट बनाने जैसे गैर-कोडिंग कार्यों के लिए संभावनाओं को खोलता है, जबकि AI स्वायत्तता के प्रबंधन के लिए विचारों को बढ़ाता है।
पेबल के संस्थापक, एरिक मिगिकोव्स्की, कोर डिवाइसेस लॉन्च कर रहे हैं, जो एक पेबल स्मार्टवॉच रीबूट और एक एआई रिंग के लिए एक टिकाऊ व्यवसाय मॉडल पर ध्यान केंद्रित कर रहे हैं, और पारंपरिक वेंचर-समर्थित स्टार्टअप की कमियों से बच रहे हैं। कोर डिवाइसेस का लक्ष्य इन्वेंट्री को सावधानीपूर्वक प्रबंधित करके और बाहरी फंडिंग को त्यागकर, फिटबिट द्वारा पेबल के अधिग्रहण से सीखे गए सबक का लाभ उठाकर, शुरुआत से ही लाभप्रदता प्राप्त करना है। यह दृष्टिकोण उपभोक्ता इलेक्ट्रॉनिक्स क्षेत्र में दीर्घकालिक व्यवहार्यता की ओर एक बदलाव का संकेत देता है, जो तेजी से विस्तार पर मापे गए विकास को प्राथमिकता देता है।
कई समाचार स्रोतों के अनुसार, मैकेंज़ी स्कॉट ने LGBTQ युवाओं का समर्थन करने वाले एक गैर-लाभकारी संगठन, द ट्रेवर प्रोजेक्ट को $45 मिलियन का दान दिया है, जो उनका अब तक का सबसे बड़ा एकल दान है और सेवाओं की बढ़ती मांग और ट्रम्प प्रशासन द्वारा संबंधित संघीय परामर्श कार्यक्रमों को बंद करने के बाद एक महत्वपूर्ण बढ़ावा है। इस दान का उद्देश्य संगठन की पहुंच का विस्तार करना और LGBTQ युवाओं द्वारा सामना की जाने वाली बढ़ी हुई मानसिक स्वास्थ्य चुनौतियों और राजनीतिक शत्रुता को संबोधित करना है, जिन्होंने आत्महत्या के विचारों में वृद्धि का अनुभव किया है।
एन्थ्रोपिक ने स्वास्थ्य सेवा के लिए क्लाउड (Claude for Healthcare) का अनावरण किया है, जो प्रदाताओं, भुगतानकर्ताओं और रोगियों के लिए स्वास्थ्य सेवा प्रक्रियाओं को सुव्यवस्थित करने के लिए डिज़ाइन किए गए एआई उपकरणों का एक सूट है, जो OpenAI की ChatGPT हेल्थ घोषणा को दर्शाता है। क्लाउड खुद को कनेक्टर्स के साथ अलग करता है जो महत्वपूर्ण डेटाबेस तक पहुंच की अनुमति देते हैं, संभावित रूप से अनुसंधान और प्रशासनिक कार्यों को गति प्रदान करते हैं, हालांकि एआई-संचालित चिकित्सा सलाह की विश्वसनीयता के बारे में चिंताएं बनी हुई हैं।
GoFundMe एक ICE एजेंट के लिए धन जुटाने को लेकर जांच के दायरे में है, जिसने एक नागरिक को घातक रूप से गोली मार दी थी, जिससे संभवतः हिंसक अपराधों के लिए कानूनी बचाव का समर्थन करने के खिलाफ अपनी ही नीति का उल्लंघन हो रहा है। इससे प्लेटफ़ॉर्म की सामग्री मॉडरेशन और कानून प्रवर्तन और नागरिक मौतों से जुड़े मामलों में क्राउडफंडिंग के नैतिक निहितार्थों के बारे में सवाल उठते हैं, जो AI-संचालित सामग्री नीतियों को लगातार लागू करने की चुनौतियों को उजागर करते हैं। FBI वर्तमान में गोलीबारी की जांच कर रही है।
Discussion
Join the conversation
Be the first to comment