বৃহৎ ভাষা মডেল (এলএলএম) এপিআই-এর খরচ উল্লেখযোগ্যভাবে কমানো যেতে পারে সিমান্টিক ক্যাশিংয়ের মাধ্যমে। শ্রীনিবাস রেড্ডি হুলেবেডু রেড্ডি জানান, তার কোম্পানির এলএলএম এপিআই বিল প্রতি মাসে ৩০% হারে বাড়ছিল। রেড্ডি দেখেন যে ব্যবহারকারীরা একই প্রশ্ন বিভিন্নভাবে করছেন, যার ফলে এলএলএম-এ অতিরিক্ত কল যাচ্ছে এবং খরচ বাড়ছে।

রেড্ডির কোয়েরি লগ বিশ্লেষণের মাধ্যমে জানা যায় যে "আপনাদের রিটার্ন পলিসি কী?", "আমি কীভাবে কিছু ফেরত দেব?", এবং "আমি কি রিফান্ড পেতে পারি?"-এর মতো প্রশ্নগুলি আলাদাভাবে প্রক্রিয়া করা হচ্ছিল, প্রায় একই উত্তর তৈরি করছিল এবং প্রতিটির জন্য সম্পূর্ণ এপিআই খরচ হচ্ছিল। সনাতন বা হুবহু-মিল ক্যাশিং, যা কোয়েরি টেক্সটকে ক্যাশ কী হিসাবে ব্যবহার করে, এই অতিরিক্ত কলগুলির মধ্যে মাত্র ১৮% ধরতে পেরেছিল। রেড্ডি বলেন, "একই সিমান্টিক প্রশ্ন, ভিন্নভাবে বলা হলে, ক্যাশকে সম্পূর্ণভাবে এড়িয়ে যায়।"

এই সমস্যা সমাধানের জন্য, রেড্ডি সিমান্টিক ক্যাশিং প্রয়োগ করেন, যা সঠিক শব্দচয়নের পরিবর্তে প্রশ্নের অর্থের উপর দৃষ্টি নিবদ্ধ করে। এই পদ্ধতির ফলে ক্যাশ হিট রেট ৬৭%-এ উন্নীত হয়, যার ফলে এলএলএম এপিআই খরচ ৭৩% হ্রাস পায়। সিমান্টিক ক্যাশিংয়ের মধ্যে ব্যবহারকারীর প্রশ্নের পেছনের উদ্দেশ্য বোঝা এবং প্রশ্নটি ভিন্নভাবে করা হলেও ক্যাশ থেকে উপযুক্ত উত্তর পুনরুদ্ধার করা জড়িত।

হুবহু-মিল ক্যাশিংয়ের সীমাবদ্ধতা অভিন্ন কোয়েরি টেক্সটের উপর নির্ভরতা থেকে উদ্ভূত। রেড্ডি ব্যাখ্যা করেন, ব্যবহারকারীরা খুব কমই হুবহু একই ভাবে প্রশ্ন করেন। ১,০০,০০০ প্রোডাকশন কোয়েরি বিশ্লেষণ করে ব্যবহারকারীর ভাষার পরিবর্তনশীলতা তুলে ধরা হয়েছে, যা হুবহু-মিল ক্যাশিংকে অতিরিক্ত কোয়েরিগুলি ধরার জন্য অকার্যকর করে তোলে।

সিমান্টিক ক্যাশিং এলএলএম এপিআই ব্যবহারের অনুকূলকরণে একটি গুরুত্বপূর্ণ অগ্রগতি। প্রশ্নের অর্থের উপর মনোযোগ কেন্দ্রীভূত করে, এটি অতিরিক্ত কলগুলির একটি বৃহত্তর শতাংশকে ধারণ করতে পারে, যার ফলে যথেষ্ট খরচ সাশ্রয় হয়। তবে, সিমান্টিক ক্যাশিং বাস্তবায়নের জন্য ভাষার সূক্ষ্মতা এবং ব্যবহারকারীর উদ্দেশ্য বোঝার জন্য শক্তিশালী পদ্ধতি বিকাশের ক্ষেত্রে সতর্কতার সাথে বিবেচনা করা প্রয়োজন।