बड़े भाषा मॉडल (LLM) API की लागत को सिमेंटिक कैशिंग लागू करके काफी कम किया जा सकता है, ऐसा श्रीनिवास रेड्डी हुलेबेडु रेड्डी के अनुसार है, जिन्होंने पाया कि उनकी कंपनी का LLM API बिल महीने-दर-महीने 30% बढ़ रहा था। रेड्डी ने पाया कि उपयोगकर्ता एक ही प्रश्न को अलग-अलग तरीकों से पूछ रहे थे, जिससे LLM को अनावश्यक कॉल जा रही थीं और लागत बढ़ रही थी।
क्वेरी लॉग के रेड्डी के विश्लेषण से पता चला कि "आपकी रिटर्न पॉलिसी क्या है?", "मैं कुछ कैसे वापस करूँ?", और "क्या मुझे रिफंड मिल सकता है?" जैसे प्रश्नों को अलग-अलग संसाधित किया जा रहा था, जिससे लगभग समान प्रतिक्रियाएँ उत्पन्न हो रही थीं और प्रत्येक के लिए पूरी API लागत लग रही थी। पारंपरिक सटीक-मिलान कैशिंग, जो क्वेरी टेक्स्ट को कैश कुंजी के रूप में उपयोग करती है, ने इन अनावश्यक कॉलों में से केवल 18% को ही पकड़ा। रेड्डी ने कहा, "एक ही सिमेंटिक प्रश्न, अलग तरह से वाक्यांशित होने पर, पूरी तरह से कैश को दरकिनार कर देता है।"
इस समस्या को हल करने के लिए, रेड्डी ने सिमेंटिक कैशिंग लागू की, जो सटीक शब्दों के बजाय प्रश्नों के अर्थ पर ध्यान केंद्रित करती है। इस दृष्टिकोण ने कैश हिट दर को 67% तक बढ़ा दिया, जिसके परिणामस्वरूप LLM API लागत में 73% की कमी आई। सिमेंटिक कैशिंग में उपयोगकर्ता के प्रश्न के पीछे के इरादे को समझना और कैश से उपयुक्त प्रतिक्रिया प्राप्त करना शामिल है, भले ही प्रश्न को अलग तरह से वाक्यांशित किया गया हो।
सटीक-मिलान कैशिंग की सीमाएँ समान क्वेरी टेक्स्ट पर इसकी निर्भरता से उत्पन्न होती हैं। जैसा कि रेड्डी ने समझाया, उपयोगकर्ता शायद ही कभी प्रश्नों को बिल्कुल उसी तरह से वाक्यांशित करते हैं। 100,000 उत्पादन प्रश्नों के उनके विश्लेषण ने उपयोगकर्ता भाषा में परिवर्तनशीलता को उजागर किया, जिससे सटीक-मिलान कैशिंग अनावश्यक प्रश्नों को पकड़ने के लिए अप्रभावी हो गई।
सिमेंटिक कैशिंग LLM API उपयोग को अनुकूलित करने में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है। प्रश्नों के अर्थ पर ध्यान केंद्रित करके, यह अनावश्यक कॉलों के बहुत बड़े प्रतिशत को पकड़ सकता है, जिससे पर्याप्त लागत बचत होती है। हालाँकि, सिमेंटिक कैशिंग को लागू करने के लिए भाषा की बारीकियों और उपयोगकर्ता के इरादे को समझने के लिए मजबूत तरीकों के विकास पर सावधानीपूर्वक विचार करने की आवश्यकता होती है।
AI-Assisted Journalism
This article was generated with AI assistance, synthesizing reporting from multiple credible news sources. Our editorial team reviews AI-generated content for accuracy.
Deep insights powered by AI
Continue exploring
नासा ने रहने योग्य एक्सोप्लैनेट की खोज में जेम्स वेब स्पेस टेलीस्कोप की क्षमताओं को बढ़ाने के लिए पेंडोरा मिशन लॉन्च किया है। पेंडोरा, एक छोटा उपग्रह, दूर के ग्रहों के सिस्टम की रासायनिक संरचना का विश्लेषण करने, जल वाष्प, कार्बन डाइऑक्साइड और मीथेन के संकेतों की तलाश करने के लिए वेब के साथ मिलकर काम करेगा।
Google Play Store की स्पष्ट नीतियों के बावजूद, जो बिना सहमति वाली या यौनिकृत तस्वीरें, विशेष रूप से बच्चों की, उत्पन्न करने वाले ऐप्स को प्रतिबंधित करती हैं, एलन मस्क का Grok AI ऐप "किशोर" रेटिंग के साथ उपलब्ध है। यह विसंगति Google द्वारा प्रवर्तन की कमी को उजागर करती है, जो Apple के सख्त लेकिन कम स्पष्ट रूप से परिभाषित ऐप सामग्री प्रतिबंधों के विपरीत है, जिससे प्लेटफ़ॉर्म की ज़िम्मेदारी और उपयोगकर्ता सुरक्षा के बारे में चिंताएँ बढ़ रही हैं।
उच्चतम न्यायालय FCC के जुर्माना लगाने के अधिकार की समीक्षा करने के लिए तैयार है, विशेष रूप से उस मामले के संबंध में जहाँ प्रमुख कैरियर्स पर सहमति के बिना ग्राहक के स्थान का डेटा बेचने के लिए जुर्माना लगाया गया था, जिससे एजेंसी की शक्ति और संभावित सातवें संशोधन के निहितार्थों के बारे में सवाल उठते हैं। यह कानूनी चुनौती दूरसंचार के लिए नियामक परिदृश्य को फिर से आकार दे सकती है, जिससे FCC उपभोक्ता गोपनीयता और डेटा सुरक्षा नियमों को कैसे लागू करता है, इस पर असर पड़ेगा, जो कि AI-संचालित डेटा संग्रह और विश्लेषण पर तेजी से निर्भर युग में है।
पॉम्पी के सार्वजनिक स्नानघर, जो 79 ईस्वी में माउंट वेसुवियस के विस्फोट से संरक्षित हैं, शहर के विकसित जल प्रबंधन में अंतर्दृष्टि प्रदान करते हैं। कैल्शियम कार्बोनेट के जमाव का विश्लेषण करने वाले एक नए अध्ययन से पता चलता है कि वर्षा जल और कुओं पर निर्भरता से एक अधिक जटिल जलसेतु प्रणाली की ओर बदलाव हुआ है, जो रोमन इंजीनियरिंग और शहरी विकास में प्रगति को दर्शाता है। इस बदलाव से संभवतः प्राचीन भूमध्यसागरीय दुनिया के एक प्रमुख केंद्र, व्यस्त बंदरगाह शहर में स्वच्छता और सार्वजनिक स्वास्थ्य में सुधार हुआ।
एनवीडिया का रूबीन प्लेटफॉर्म रैक-स्केल एन्क्रिप्शन पेश करता है, जो सीपीयू, जीपीयू और एनवीलिंक में गोपनीय कंप्यूटिंग को सक्षम करके एआई सुरक्षा में एक बड़ी प्रगति है, जो तेजी से महंगे एआई मॉडल पर साइबर हमलों के बढ़ते खतरे को संबोधित करता है। यह तकनीक उद्यमों को सुरक्षा को क्रिप्टोग्राफ़िक रूप से सत्यापित करने की अनुमति देती है, जो विश्वास-आधारित क्लाउड सुरक्षा पर निर्भरता से आगे बढ़ती है, जो एआई प्रशिक्षण की बढ़ती लागत और एआई मॉडल उल्लंघनों की बढ़ती आवृत्ति को देखते हुए महत्वपूर्ण है।
ट्रम्प प्रशासन की EPA एक नीतिगत बदलाव पर विचार कर रही है जिसके तहत नियामक निर्णय लेते समय वायु प्रदूषण को कम करने के स्वास्थ्य लाभों को अनदेखा किया जाएगा, जिससे दशकों से चली आ रही उस स्थापित प्रथा को पलटा जा सकता है जिसमें मानव जीवन के आर्थिक मूल्य को ध्यान में रखा जाता है। इस बदलाव से सार्वजनिक स्वास्थ्य पर महत्वपूर्ण प्रभाव पड़ सकता है, क्योंकि इससे ओजोन और महीन कणों जैसे प्रदूषकों पर कमजोर नियम बन सकते हैं, ये दोनों ही गंभीर हृदय रोगों से जुड़े हैं। इस कदम से पर्यावरण संरक्षण के भविष्य और पर्यावरणीय नियमों के सही लागत-लाभ विश्लेषण का आकलन करने में AI की भूमिका के बारे में चिंताएं बढ़ रही हैं।
एन्थ्रोपिक का कोवर्क, जो अब मैक्स सब्सक्राइबर्स के लिए रिसर्च प्रीव्यू में है, क्लाउड को एक उपयोगकर्ता-अनुकूल चैट इंटरफेस के माध्यम से निर्दिष्ट फ़ोल्डरों के साथ इंटरैक्ट करने की अनुमति देकर AI-संचालित फ़ाइल प्रबंधन को सरल बनाता है। क्लाउड एजेंट SDK पर निर्मित, कोवर्क क्लाउड कोड का एक कम तकनीकी विकल्प प्रदान करता है, जो व्यय रिपोर्ट बनाने जैसे गैर-कोडिंग कार्यों के लिए संभावनाओं को खोलता है, जबकि AI स्वायत्तता के प्रबंधन के लिए विचारों को बढ़ाता है।
पेबल के संस्थापक, एरिक मिगिकोव्स्की, कोर डिवाइसेस लॉन्च कर रहे हैं, जो एक पेबल स्मार्टवॉच रीबूट और एक एआई रिंग के लिए एक टिकाऊ व्यवसाय मॉडल पर ध्यान केंद्रित कर रहे हैं, और पारंपरिक वेंचर-समर्थित स्टार्टअप की कमियों से बच रहे हैं। कोर डिवाइसेस का लक्ष्य इन्वेंट्री को सावधानीपूर्वक प्रबंधित करके और बाहरी फंडिंग को त्यागकर, फिटबिट द्वारा पेबल के अधिग्रहण से सीखे गए सबक का लाभ उठाकर, शुरुआत से ही लाभप्रदता प्राप्त करना है। यह दृष्टिकोण उपभोक्ता इलेक्ट्रॉनिक्स क्षेत्र में दीर्घकालिक व्यवहार्यता की ओर एक बदलाव का संकेत देता है, जो तेजी से विस्तार पर मापे गए विकास को प्राथमिकता देता है।
कई समाचार स्रोतों के अनुसार, मैकेंज़ी स्कॉट ने LGBTQ युवाओं का समर्थन करने वाले एक गैर-लाभकारी संगठन, द ट्रेवर प्रोजेक्ट को $45 मिलियन का दान दिया है, जो उनका अब तक का सबसे बड़ा एकल दान है और सेवाओं की बढ़ती मांग और ट्रम्प प्रशासन द्वारा संबंधित संघीय परामर्श कार्यक्रमों को बंद करने के बाद एक महत्वपूर्ण बढ़ावा है। इस दान का उद्देश्य संगठन की पहुंच का विस्तार करना और LGBTQ युवाओं द्वारा सामना की जाने वाली बढ़ी हुई मानसिक स्वास्थ्य चुनौतियों और राजनीतिक शत्रुता को संबोधित करना है, जिन्होंने आत्महत्या के विचारों में वृद्धि का अनुभव किया है।
एन्थ्रोपिक ने स्वास्थ्य सेवा के लिए क्लाउड (Claude for Healthcare) का अनावरण किया है, जो प्रदाताओं, भुगतानकर्ताओं और रोगियों के लिए स्वास्थ्य सेवा प्रक्रियाओं को सुव्यवस्थित करने के लिए डिज़ाइन किए गए एआई उपकरणों का एक सूट है, जो OpenAI की ChatGPT हेल्थ घोषणा को दर्शाता है। क्लाउड खुद को कनेक्टर्स के साथ अलग करता है जो महत्वपूर्ण डेटाबेस तक पहुंच की अनुमति देते हैं, संभावित रूप से अनुसंधान और प्रशासनिक कार्यों को गति प्रदान करते हैं, हालांकि एआई-संचालित चिकित्सा सलाह की विश्वसनीयता के बारे में चिंताएं बनी हुई हैं।
GoFundMe एक ICE एजेंट के लिए धन जुटाने को लेकर जांच के दायरे में है, जिसने एक नागरिक को घातक रूप से गोली मार दी थी, जिससे संभवतः हिंसक अपराधों के लिए कानूनी बचाव का समर्थन करने के खिलाफ अपनी ही नीति का उल्लंघन हो रहा है। इससे प्लेटफ़ॉर्म की सामग्री मॉडरेशन और कानून प्रवर्तन और नागरिक मौतों से जुड़े मामलों में क्राउडफंडिंग के नैतिक निहितार्थों के बारे में सवाल उठते हैं, जो AI-संचालित सामग्री नीतियों को लगातार लागू करने की चुनौतियों को उजागर करते हैं। FBI वर्तमान में गोलीबारी की जांच कर रही है।
दक्षिणपंथी प्रभावशाली व्यक्ति सोशल मीडिया का उपयोग करते हुए मिनियापोलिस को एक संघीय एजेंट की गोलीबारी के बाद अराजक के रूप में चित्रित कर रहे हैं, संभावित रूप से चयनात्मक आख्यानों के माध्यम से सार्वजनिक धारणा को आकार दे रहे हैं। यह समन्वित सामग्री रणनीति विशिष्ट दृष्टिकोणों को बढ़ाने और व्यापक सामाजिक प्रवचन को प्रभावित करने में एआई-संचालित प्लेटफार्मों की शक्ति पर प्रकाश डालती है।
Discussion
Join the conversation
Be the first to comment