এআই অ্যাপ্লিকেশন ডেভেলপার শ্রীনিবাস রেড্ডি হুলেবেডু রেড্ডির মতে, অনেক কোম্পানিই লার্জ ল্যাঙ্গুয়েজ মডেল (এলএলএম) অ্যাপ্লিকেশন প্রোগ্রামিং ইন্টারফেস (এপিআই)-এর জন্য তাদের বিল বাড়তে দেখছে, যার কারণ হলো অতিরিক্ত প্রশ্ন। রেড্ডি দেখেছেন যে ব্যবহারকারীরা প্রায়শই একই প্রশ্ন বিভিন্নভাবে জিজ্ঞাসা করে, যার ফলে এলএলএম প্রতিটি ভিন্নতাকে আলাদাভাবে প্রক্রিয়া করে এবং প্রতিটির জন্য সম্পূর্ণ এপিআই খরচ হয়।

রেড্ডির প্রশ্ন লগের বিশ্লেষণে দেখা গেছে যে ব্যবহারকারীরা বারবার একই প্রশ্ন বিভিন্ন শব্দ ব্যবহার করে জিজ্ঞাসা করছে। উদাহরণস্বরূপ, "আপনার রিটার্ন পলিসি কী?", "আমি কীভাবে কিছু ফেরত দেব?", এবং "আমি কি রিফান্ড পেতে পারি?" এই প্রশ্নগুলো এলএলএম থেকে প্রায় একই উত্তর পেলেও, প্রতিটি প্রশ্নের জন্য আলাদা এপিআই কল ট্রিগার হয়েছে।

ঐতিহ্যবাহী, একদম হুবহু-মিল ক্যাশিং, যা ক্যাশে কী হিসাবে প্রশ্নের টেক্সট ব্যবহার করে, এই সমস্যা সমাধানে অকার্যকর প্রমাণিত হয়েছে। রেড্ডি দেখেছেন যে একদম হুবহু-মিল ক্যাশিং ১,০০,০০০ প্রোডাকশন প্রশ্নের মধ্যে মাত্র ১৮টি অতিরিক্ত কল ধরেছে। রেড্ডি ব্যাখ্যা করেছেন, "একই ধরনের প্রশ্ন, ভিন্নভাবে বলা হলে, তা ক্যাশে সম্পূর্ণভাবে এড়িয়ে যায়।"

এই সমস্যা মোকাবেলার জন্য, রেড্ডি সিমান্টিক ক্যাশিং প্রয়োগ করেছেন, যা প্রশ্নের সঠিক শব্দ ব্যবহার না করে তার অর্থের উপর ভিত্তি করে প্রতিক্রিয়া ক্যাশ করে। এই পদ্ধতিতে ক্যাশে হিট রেট ৬৭% বেড়েছে, যার ফলে এলএলএম এপিআই খরচ ৭৩% কমেছে। সিমান্টিক ক্যাশিং ব্যবহারকারীদের একই প্রশ্ন একাধিক উপায়ে করার মূল সমস্যাটি সমাধান করে।

এলএলএম-এর ক্ষেত্রে সিমান্টিক ক্যাশিং ঐতিহ্যবাহী ক্যাশিং পদ্ধতির তুলনায় একটি উল্লেখযোগ্য অগ্রগতি। ঐতিহ্যবাহী ক্যাশিং ইনকামিং প্রশ্ন এবং ক্যাশে থাকা প্রশ্নের মধ্যে হুবহু মিলের উপর নির্ভর করে। এই পদ্ধতিটি প্রয়োগ করা সহজ কিন্তু মানুষের ভাষার সূক্ষ্মতাগুলি ক্যাপচার করতে ব্যর্থ হয়, যেখানে একই উদ্দেশ্য বিভিন্ন উপায়ে প্রকাশ করা যেতে পারে। অন্যদিকে, সিমান্টিক ক্যাশিং এমবেডিং এবং সিমিলারিটি মেট্রিক্সের মতো কৌশল ব্যবহার করে এটি নির্ধারণ করতে যে একটি নতুন প্রশ্ন পূর্বে ক্যাশে করা প্রশ্নের সাথে সিমান্টিকভাবে একই রকম কিনা। যদি মিল একটি পূর্বনির্ধারিত থ্রেশহোল্ড অতিক্রম করে, তাহলে ক্যাশে করা প্রতিক্রিয়া ফেরত দেওয়া হয়, যার ফলে একটি ব্যয়বহুল এপিআই কল এড়ানো যায়।

সিমান্টিক ক্যাশিং-এর বিকাশ এলএলএম ব্যবহারের জন্য দক্ষ এবং সাশ্রয়ী পদ্ধতির ক্রমবর্ধমান প্রয়োজনীয়তা তুলে ধরে। এলএলএমগুলি ক্রমবর্ধমানভাবে বিভিন্ন অ্যাপ্লিকেশনে একত্রিত হওয়ার সাথে সাথে, এপিআই খরচ পরিচালনা করা ব্যবসাগুলির জন্য একটি গুরুত্বপূর্ণ উদ্বেগের বিষয় হয়ে দাঁড়িয়েছে। সিমান্টিক ক্যাশিং অতিরিক্ততা হ্রাস করে এবং রিসোর্স ব্যবহার অপ্টিমাইজ করে একটি প্রতিশ্রুতিশীল সমাধান দেয়। এই ক্ষেত্রে আরও গবেষণা এবং উন্নয়ন আরও অত্যাধুনিক ক্যাশিং কৌশল তৈরি করতে পারে যা এলএলএম এপিআই খরচ আরও কমিয়ে সামগ্রিক কর্মক্ষমতা উন্নত করবে।