कृत्रिम बुद्धिमत्ता (AI) एप्लीकेशन डेवलपर श्रीनिवास रेड्डी हुलेबेडु रेड्डी के अनुसार, कई कंपनियाँ बड़े भाषा मॉडल (LLM) एप्लीकेशन प्रोग्रामिंग इंटरफेस (API) के लिए अपने बिलों में भारी वृद्धि देख रही हैं, जिसका कारण अनावश्यक क्वेरी हैं। रेड्डी ने पाया कि उपयोगकर्ता अक्सर एक ही प्रश्न को अलग-अलग तरीकों से पूछते हैं, जिससे LLM प्रत्येक भिन्नता को अलग से संसाधित करता है और प्रत्येक के लिए पूरी API लागत लगती है।
रेड्डी के क्वेरी लॉग के विश्लेषण से पता चला कि उपयोगकर्ता बार-बार एक ही प्रश्न को अलग-अलग वाक्यांशों का उपयोग करके पूछ रहे थे। उदाहरण के लिए, "आपकी वापसी नीति क्या है?", "मैं कुछ कैसे वापस करूँ?", और "क्या मुझे रिफंड मिल सकता है?" जैसे प्रश्नों ने LLM से लगभग समान प्रतिक्रियाएँ प्राप्त कीं, लेकिन प्रत्येक ने एक अलग API कॉल को ट्रिगर किया।
पारंपरिक, सटीक-मिलान कैशिंग, जो क्वेरी टेक्स्ट को कैश कुंजी के रूप में उपयोग करती है, इस समस्या को हल करने में अप्रभावी साबित हुई। रेड्डी ने पाया कि सटीक-मिलान कैशिंग ने 100,000 प्रोडक्शन क्वेरी में से केवल 18 अनावश्यक कॉलों को ही पकड़ा। रेड्डी ने समझाया, "एक ही सिमेंटिक प्रश्न, जिसे अलग ढंग से वाक्यांशित किया गया, पूरी तरह से कैश को बायपास कर गया।"
इससे निपटने के लिए, रेड्डी ने सिमेंटिक कैशिंग लागू किया, एक ऐसी तकनीक जो क्वेरी के सटीक शब्दों के बजाय उसके अर्थ के आधार पर प्रतिक्रियाओं को कैश करती है। इस दृष्टिकोण ने कैश हिट दर को 67% तक बढ़ा दिया, जिसके परिणामस्वरूप LLM API लागत में 73% की कमी आई। सिमेंटिक कैशिंग उपयोगकर्ताओं द्वारा एक ही प्रश्न को कई तरीकों से वाक्यांशित करने की मूल समस्या का समाधान करता है।
सिमेंटिक कैशिंग LLM के संदर्भ में पारंपरिक कैशिंग विधियों पर एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है। पारंपरिक कैशिंग आने वाली क्वेरी और कैश की गई क्वेरी के बीच सटीक मिलान पर निर्भर करता है। यह विधि लागू करने में सरल है लेकिन मानव भाषा की बारीकियों को पकड़ने में विफल रहती है, जहाँ एक ही इरादे को कई तरीकों से व्यक्त किया जा सकता है। दूसरी ओर, सिमेंटिक कैशिंग, यह निर्धारित करने के लिए एम्बेडिंग और समानता मेट्रिक्स जैसी तकनीकों का उपयोग करता है कि क्या कोई नई क्वेरी पहले से कैश की गई क्वेरी के समान सिमेंटिक रूप से समान है। यदि समानता एक पूर्वनिर्धारित सीमा से अधिक है, तो कैश की गई प्रतिक्रिया वापस कर दी जाती है, जिससे एक महंगी API कॉल से बचा जा सकता है।
सिमेंटिक कैशिंग का विकास LLM का उपयोग करने के लिए कुशल और लागत प्रभावी तरीकों की बढ़ती आवश्यकता को उजागर करता है। जैसे-जैसे LLM विभिन्न अनुप्रयोगों में तेजी से एकीकृत होते जा रहे हैं, API लागतों का प्रबंधन व्यवसायों के लिए एक महत्वपूर्ण चिंता बन जाता है। सिमेंटिक कैशिंग अनावश्यकता को कम करके और संसाधन उपयोग को अनुकूलित करके एक आशाजनक समाधान प्रदान करता है। इस क्षेत्र में आगे के अनुसंधान और विकास से और भी परिष्कृत कैशिंग रणनीतियाँ बन सकती हैं जो LLM API लागतों को और कम करती हैं और समग्र प्रदर्शन में सुधार करती हैं।
AI-Assisted Journalism
This article was generated with AI assistance, synthesizing reporting from multiple credible news sources. Our editorial team reviews AI-generated content for accuracy.
Deep insights powered by AI
Continue exploring
नासा ने रहने योग्य एक्सोप्लैनेट की खोज में जेम्स वेब स्पेस टेलीस्कोप की क्षमताओं को बढ़ाने के लिए पेंडोरा मिशन लॉन्च किया है। पेंडोरा, एक छोटा उपग्रह, दूर के ग्रहों के सिस्टम की रासायनिक संरचना का विश्लेषण करने, जल वाष्प, कार्बन डाइऑक्साइड और मीथेन के संकेतों की तलाश करने के लिए वेब के साथ मिलकर काम करेगा।
Google Play Store की स्पष्ट नीतियों के बावजूद, जो बिना सहमति वाली या यौनिकृत तस्वीरें, विशेष रूप से बच्चों की, उत्पन्न करने वाले ऐप्स को प्रतिबंधित करती हैं, एलन मस्क का Grok AI ऐप "किशोर" रेटिंग के साथ उपलब्ध है। यह विसंगति Google द्वारा प्रवर्तन की कमी को उजागर करती है, जो Apple के सख्त लेकिन कम स्पष्ट रूप से परिभाषित ऐप सामग्री प्रतिबंधों के विपरीत है, जिससे प्लेटफ़ॉर्म की ज़िम्मेदारी और उपयोगकर्ता सुरक्षा के बारे में चिंताएँ बढ़ रही हैं।
उच्चतम न्यायालय FCC के जुर्माना लगाने के अधिकार की समीक्षा करने के लिए तैयार है, विशेष रूप से उस मामले के संबंध में जहाँ प्रमुख कैरियर्स पर सहमति के बिना ग्राहक के स्थान का डेटा बेचने के लिए जुर्माना लगाया गया था, जिससे एजेंसी की शक्ति और संभावित सातवें संशोधन के निहितार्थों के बारे में सवाल उठते हैं। यह कानूनी चुनौती दूरसंचार के लिए नियामक परिदृश्य को फिर से आकार दे सकती है, जिससे FCC उपभोक्ता गोपनीयता और डेटा सुरक्षा नियमों को कैसे लागू करता है, इस पर असर पड़ेगा, जो कि AI-संचालित डेटा संग्रह और विश्लेषण पर तेजी से निर्भर युग में है।
पॉम्पी के सार्वजनिक स्नानघर, जो 79 ईस्वी में माउंट वेसुवियस के विस्फोट से संरक्षित हैं, शहर के विकसित जल प्रबंधन में अंतर्दृष्टि प्रदान करते हैं। कैल्शियम कार्बोनेट के जमाव का विश्लेषण करने वाले एक नए अध्ययन से पता चलता है कि वर्षा जल और कुओं पर निर्भरता से एक अधिक जटिल जलसेतु प्रणाली की ओर बदलाव हुआ है, जो रोमन इंजीनियरिंग और शहरी विकास में प्रगति को दर्शाता है। इस बदलाव से संभवतः प्राचीन भूमध्यसागरीय दुनिया के एक प्रमुख केंद्र, व्यस्त बंदरगाह शहर में स्वच्छता और सार्वजनिक स्वास्थ्य में सुधार हुआ।
एनवीडिया का रूबीन प्लेटफॉर्म रैक-स्केल एन्क्रिप्शन पेश करता है, जो सीपीयू, जीपीयू और एनवीलिंक में गोपनीय कंप्यूटिंग को सक्षम करके एआई सुरक्षा में एक बड़ी प्रगति है, जो तेजी से महंगे एआई मॉडल पर साइबर हमलों के बढ़ते खतरे को संबोधित करता है। यह तकनीक उद्यमों को सुरक्षा को क्रिप्टोग्राफ़िक रूप से सत्यापित करने की अनुमति देती है, जो विश्वास-आधारित क्लाउड सुरक्षा पर निर्भरता से आगे बढ़ती है, जो एआई प्रशिक्षण की बढ़ती लागत और एआई मॉडल उल्लंघनों की बढ़ती आवृत्ति को देखते हुए महत्वपूर्ण है।
ट्रम्प प्रशासन की EPA एक नीतिगत बदलाव पर विचार कर रही है जिसके तहत नियामक निर्णय लेते समय वायु प्रदूषण को कम करने के स्वास्थ्य लाभों को अनदेखा किया जाएगा, जिससे दशकों से चली आ रही उस स्थापित प्रथा को पलटा जा सकता है जिसमें मानव जीवन के आर्थिक मूल्य को ध्यान में रखा जाता है। इस बदलाव से सार्वजनिक स्वास्थ्य पर महत्वपूर्ण प्रभाव पड़ सकता है, क्योंकि इससे ओजोन और महीन कणों जैसे प्रदूषकों पर कमजोर नियम बन सकते हैं, ये दोनों ही गंभीर हृदय रोगों से जुड़े हैं। इस कदम से पर्यावरण संरक्षण के भविष्य और पर्यावरणीय नियमों के सही लागत-लाभ विश्लेषण का आकलन करने में AI की भूमिका के बारे में चिंताएं बढ़ रही हैं।
सिमेंटिक कैशिंग, जो सटीक शब्दों के बजाय प्रश्नों के अर्थ पर ध्यान केंद्रित करता है, अर्थपूर्ण रूप से समान प्रश्नों के उत्तरों की पहचान करके और उनका पुन: उपयोग करके LLM API लागत को बहुत कम कर सकता है। पारंपरिक सटीक-मिलान कैशिंग अक्सर इन अनावश्यकताओं को पकड़ने में विफल रहता है, जिससे अनावश्यक खर्च होता है, लेकिन सिमेंटिक कैशिंग को लागू करने से कैश हिट दरें बढ़ सकती हैं और LLM बिलों को काफी कम किया जा सकता है।
एन्थ्रोपिक का कोवर्क, जो अब मैक्स सब्सक्राइबर्स के लिए रिसर्च प्रीव्यू में है, क्लाउड को एक उपयोगकर्ता-अनुकूल चैट इंटरफेस के माध्यम से निर्दिष्ट फ़ोल्डरों के साथ इंटरैक्ट करने की अनुमति देकर AI-संचालित फ़ाइल प्रबंधन को सरल बनाता है। क्लाउड एजेंट SDK पर निर्मित, कोवर्क क्लाउड कोड का एक कम तकनीकी विकल्प प्रदान करता है, जो व्यय रिपोर्ट बनाने जैसे गैर-कोडिंग कार्यों के लिए संभावनाओं को खोलता है, जबकि AI स्वायत्तता के प्रबंधन के लिए विचारों को बढ़ाता है।
पेबल के संस्थापक, एरिक मिगिकोव्स्की, कोर डिवाइसेस लॉन्च कर रहे हैं, जो एक पेबल स्मार्टवॉच रीबूट और एक एआई रिंग के लिए एक टिकाऊ व्यवसाय मॉडल पर ध्यान केंद्रित कर रहे हैं, और पारंपरिक वेंचर-समर्थित स्टार्टअप की कमियों से बच रहे हैं। कोर डिवाइसेस का लक्ष्य इन्वेंट्री को सावधानीपूर्वक प्रबंधित करके और बाहरी फंडिंग को त्यागकर, फिटबिट द्वारा पेबल के अधिग्रहण से सीखे गए सबक का लाभ उठाकर, शुरुआत से ही लाभप्रदता प्राप्त करना है। यह दृष्टिकोण उपभोक्ता इलेक्ट्रॉनिक्स क्षेत्र में दीर्घकालिक व्यवहार्यता की ओर एक बदलाव का संकेत देता है, जो तेजी से विस्तार पर मापे गए विकास को प्राथमिकता देता है।
कई समाचार स्रोतों के अनुसार, मैकेंज़ी स्कॉट ने LGBTQ युवाओं का समर्थन करने वाले एक गैर-लाभकारी संगठन, द ट्रेवर प्रोजेक्ट को $45 मिलियन का दान दिया है, जो उनका अब तक का सबसे बड़ा एकल दान है और सेवाओं की बढ़ती मांग और ट्रम्प प्रशासन द्वारा संबंधित संघीय परामर्श कार्यक्रमों को बंद करने के बाद एक महत्वपूर्ण बढ़ावा है। इस दान का उद्देश्य संगठन की पहुंच का विस्तार करना और LGBTQ युवाओं द्वारा सामना की जाने वाली बढ़ी हुई मानसिक स्वास्थ्य चुनौतियों और राजनीतिक शत्रुता को संबोधित करना है, जिन्होंने आत्महत्या के विचारों में वृद्धि का अनुभव किया है।
एन्थ्रोपिक ने स्वास्थ्य सेवा के लिए क्लाउड (Claude for Healthcare) का अनावरण किया है, जो प्रदाताओं, भुगतानकर्ताओं और रोगियों के लिए स्वास्थ्य सेवा प्रक्रियाओं को सुव्यवस्थित करने के लिए डिज़ाइन किए गए एआई उपकरणों का एक सूट है, जो OpenAI की ChatGPT हेल्थ घोषणा को दर्शाता है। क्लाउड खुद को कनेक्टर्स के साथ अलग करता है जो महत्वपूर्ण डेटाबेस तक पहुंच की अनुमति देते हैं, संभावित रूप से अनुसंधान और प्रशासनिक कार्यों को गति प्रदान करते हैं, हालांकि एआई-संचालित चिकित्सा सलाह की विश्वसनीयता के बारे में चिंताएं बनी हुई हैं।
GoFundMe एक ICE एजेंट के लिए धन जुटाने को लेकर जांच के दायरे में है, जिसने एक नागरिक को घातक रूप से गोली मार दी थी, जिससे संभवतः हिंसक अपराधों के लिए कानूनी बचाव का समर्थन करने के खिलाफ अपनी ही नीति का उल्लंघन हो रहा है। इससे प्लेटफ़ॉर्म की सामग्री मॉडरेशन और कानून प्रवर्तन और नागरिक मौतों से जुड़े मामलों में क्राउडफंडिंग के नैतिक निहितार्थों के बारे में सवाल उठते हैं, जो AI-संचालित सामग्री नीतियों को लगातार लागू करने की चुनौतियों को उजागर करते हैं। FBI वर्तमान में गोलीबारी की जांच कर रही है।
Discussion
Join the conversation
Be the first to comment