एक AI एप्लीकेशन डेवलपर श्रीनिवास रेड्डी हुलेबेडु रेड्डी के अनुसार, कई कंपनियाँ बड़े भाषा मॉडल (LLM) एप्लीकेशन प्रोग्रामिंग इंटरफेस (API) के लिए अपने बिलों में भारी वृद्धि देख रही हैं, जिसका कारण उपयोगकर्ताओं द्वारा एक ही प्रश्न को अलग-अलग तरीकों से पूछा जाना है। रेड्डी ने पाया कि उपयोगकर्ता अक्सर एक ही प्रश्न को अलग-अलग ढंग से पूछते हैं, जिससे LLM को अनावश्यक कॉल जाती हैं और अनावश्यक API लागत लगती है।

रेड्डी के क्वेरी लॉग के विश्लेषण से पता चला कि उपयोगकर्ता "आपकी वापसी नीति क्या है?", "मैं कुछ कैसे वापस करूँ?", और "क्या मुझे रिफंड मिल सकता है?" जैसे प्रश्न अलग-अलग पूछ रहे थे, जिनमें से प्रत्येक लगभग समान प्रतिक्रियाएँ उत्पन्न कर रहा था और पूरी API लागत लग रही थी। पारंपरिक, सटीक-मिलान कैशिंग, जो क्वेरी टेक्स्ट को कैश कुंजी के रूप में उपयोग करती है, अप्रभावी साबित हुई, और इन अनावश्यक कॉलों में से केवल 18% को ही पकड़ पाई। रेड्डी ने समझाया, "एक ही सिमेंटिक प्रश्न, अलग ढंग से पूछे जाने पर, पूरी तरह से कैश को बायपास कर गया।"

इसे संबोधित करने के लिए, रेड्डी ने सिमेंटिक कैशिंग लागू की, एक ऐसी तकनीक जो प्रश्नों के सटीक शब्दों के बजाय उनके अर्थ पर ध्यान केंद्रित करती है। सिमेंटिक कैशिंग एक प्रश्न के अंतर्निहित इरादे का विश्लेषण करती है और यदि पहले से ही एक सिमेंटिक रूप से समान क्वेरी संसाधित की जा चुकी है तो कैश से उत्तर प्राप्त करती है। सिमेंटिक कैशिंग लागू करने के बाद, रेड्डी ने कैश हिट दर में 67% की वृद्धि दर्ज की, जिसके परिणामस्वरूप LLM API लागत में 73% की कमी आई।

पारंपरिक कैशिंग के साथ मुख्य चुनौती सटीक मिलान पर इसकी निर्भरता है। जैसा कि रेड्डी ने बताया, पारंपरिक कैशिंग क्वेरी टेक्स्ट के हैश को कैश कुंजी के रूप में उपयोग करती है। यदि कुंजी कैश में मौजूद है, तो कैश्ड प्रतिक्रिया वापस कर दी जाती है; अन्यथा, क्वेरी को LLM द्वारा संसाधित किया जाता है। यह दृष्टिकोण तब विफल हो जाता है जब उपयोगकर्ता प्रश्नों को अलग-अलग ढंग से पूछते हैं, भले ही अंतर्निहित अर्थ समान हो।

सिमेंटिक कैशिंग LLM API उपयोग को अनुकूलित करने में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है। प्रश्नों के सिमेंटिक अर्थ को समझकर, यह अनावश्यक कॉलों को काफी कम कर सकता है और लागत को कम कर सकता है। हालाँकि, सिमेंटिक कैशिंग को प्रभावी ढंग से लागू करने के लिए विभिन्न कारकों पर सावधानीपूर्वक विचार करने की आवश्यकता होती है, जिसमें सिमेंटिक समानता एल्गोरिदम का चुनाव और कैश अमान्यता का प्रबंधन शामिल है। यह विकास सरल, टेक्स्ट-आधारित कैशिंग समाधानों से आगे बढ़कर अधिक परिष्कृत तरीकों की ओर बढ़ने के महत्व पर प्रकाश डालता है जो मानव भाषा की बारीकियों को समझते हैं।