कई कंपनियाँ बड़े भाषा मॉडल (LLM) एप्लीकेशन प्रोग्रामिंग इंटरफेस (API) के लिए अपने बिलों में भारी वृद्धि देख रही हैं, जिससे लागत प्रभावी समाधानों की तलाश बढ़ रही है। श्रीनिवास रेड्डी हुलेबेडु रेड्डी ने हाल ही में एक विश्लेषण में पाया कि इन लागतों का एक महत्वपूर्ण हिस्सा उपयोगकर्ताओं द्वारा अलग-अलग तरीकों से एक ही प्रश्न पूछने से उत्पन्न होता है।

रेड्डी ने अपनी कंपनी के LLM API बिल में 30% महीने-दर-महीने वृद्धि देखी, जबकि ट्रैफ़िक उसी दर से नहीं बढ़ रहा था। क्वेरी लॉग का विश्लेषण करने से पता चला कि उपयोगकर्ता विभिन्न वाक्यांशों का उपयोग करके अर्थपूर्ण रूप से समान प्रश्न पूछ रहे थे। उदाहरण के लिए, "आपकी वापसी नीति क्या है?", "मैं कुछ कैसे वापस करूँ?", और "क्या मुझे रिफंड मिल सकता है?" जैसे सभी प्रश्नों ने LLM को अलग-अलग कॉल ट्रिगर कीं, जिनमें से प्रत्येक में पूरी API लागत लगी।

पारंपरिक, सटीक-मिलान कैशिंग, जो क्वेरी टेक्स्ट को कैश कुंजी के रूप में उपयोग करती है, इस मुद्दे को संबोधित करने में अप्रभावी साबित हुई। रेड्डी ने पाया कि सटीक-मिलान कैशिंग ने इन अनावश्यक कॉलों में से केवल 18 को ही कैप्चर किया, क्योंकि शब्दों में मामूली बदलावों ने कैश को पूरी तरह से दरकिनार कर दिया।

इससे निपटने के लिए, रेड्डी ने सिमेंटिक कैशिंग लागू किया, एक ऐसी तकनीक जो प्रश्नों के सटीक शब्दों के बजाय उनके अर्थ पर ध्यान केंद्रित करती है। इस दृष्टिकोण ने कैश हिट दर को 67% तक बढ़ा दिया, जिसके परिणामस्वरूप LLM API लागत में 73% की कमी आई। सिमेंटिक कैशिंग एक क्वेरी के अंतर्निहित इरादे को पहचानती है और कैश से संबंधित प्रतिक्रिया को पुनर्प्राप्त करती है, भले ही वाक्यांश अलग-अलग हों।

LLM API लागत में वृद्धि AI को अपने वर्कफ़्लो में एकीकृत करने वाले व्यवसायों के लिए एक बढ़ती चिंता है। जैसे-जैसे LLM अधिक प्रचलित होते जा रहे हैं, API उपयोग को अनुकूलित करना लागत दक्षता बनाए रखने के लिए महत्वपूर्ण है। सिमेंटिक कैशिंग एक आशाजनक समाधान का प्रतिनिधित्व करता है, लेकिन इसके सफल कार्यान्वयन के लिए भाषा और उपयोगकर्ता व्यवहार की बारीकियों पर सावधानीपूर्वक विचार करने की आवश्यकता है। रेड्डी ने उल्लेख किया कि भोले कार्यान्वयन अक्सर समस्या के प्रमुख पहलुओं को छोड़ देते हैं। सिमेंटिक कैशिंग तकनीकों में आगे के अनुसंधान और विकास से भविष्य में LLM लागतों के प्रबंधन में महत्वपूर्ण भूमिका निभाने की उम्मीद है।