تواجه العديد من الشركات فواتير مرتفعة بشكل غير متوقع لاستخدامها واجهات برمجة تطبيقات نماذج اللغة الكبيرة (LLM)، مما دفعها للبحث عن حلول فعالة من حيث التكلفة. اكتشف سرينيفاسا ريدي هوليبيدو ريدي، في تحليل حديث لسجلات الاستعلامات، أن جزءًا كبيرًا من تكاليف نماذج اللغة الكبيرة (LLM) نابع من المستخدمين الذين يطرحون نفس الأسئلة بطرق مختلفة.

وجد ريدي أنه في حين أن حركة المرور إلى واجهة برمجة تطبيقات نماذج اللغة الكبيرة (LLM) الخاصة بشركته كانت في ازدياد، إلا أن التكلفة كانت تنمو بمعدل غير مستدام قدره 30٪ شهريًا. وأوضح أن المستخدمين كانوا يرسلون استعلامات متطابقة دلاليًا، مثل "ما هي سياسة الإرجاع الخاصة بك؟" و "كيف يمكنني إرجاع شيء ما؟" و "هل يمكنني استرداد أموالي؟"، والتي كانت تتم معالجتها جميعًا كطلبات فريدة من قبل نموذج اللغة الكبيرة (LLM)، مما أدى إلى تكبد التكلفة الكاملة لواجهة برمجة التطبيقات لكل منها.

ثبت أن التخزين المؤقت التقليدي المطابق تمامًا، والذي يستخدم نص الاستعلام كمفتاح ذاكرة التخزين المؤقت، غير فعال في معالجة هذا التكرار. وأشار ريدي إلى أن "التخزين المؤقت المطابق تمامًا التقط 18 مكالمة فقط من هذه المكالمات الزائدة". "السؤال الدلالي نفسه، بصياغة مختلفة، تجاوز ذاكرة التخزين المؤقت تمامًا."

لمكافحة ذلك، قام ريدي بتطبيق التخزين المؤقت الدلالي، وهي تقنية تركز على معنى الاستعلامات بدلاً من صياغتها الدقيقة. أدى هذا النهج إلى تحسن كبير في معدل الوصول إلى ذاكرة التخزين المؤقت، حيث وصل إلى 67٪، وفي النهاية خفض تكاليف واجهة برمجة تطبيقات نماذج اللغة الكبيرة (LLM) بنسبة 73٪.

يعالج التخزين المؤقت الدلالي قيود التخزين المؤقت المطابق تمامًا من خلال فهم النية الكامنة وراء استعلام المستخدم. بدلاً من مجرد مقارنة نص الاستعلام، يستخدم التخزين المؤقت الدلالي تقنيات مثل التضمينات أو خوارزميات التشابه الدلالي لتحديد ما إذا كان قد تمت الإجابة على سؤال مماثل بالفعل. إذا كان هناك استعلام مشابه دلاليًا في ذاكرة التخزين المؤقت، فيمكن للنظام استرداد الاستجابة المخزنة مؤقتًا، وتجنب الحاجة إلى استدعاء نموذج اللغة الكبيرة (LLM) مرة أخرى.

يمثل الارتفاع في تكاليف واجهة برمجة تطبيقات نماذج اللغة الكبيرة (LLM) مصدر قلق متزايد للشركات التي تدمج الذكاء الاصطناعي في سير عملها. مع تزايد انتشار نماذج اللغة الكبيرة (LLM)، سيكون تحسين استخدامها وخفض التكاليف أمرًا بالغ الأهمية. يمثل التخزين المؤقت الدلالي أحد الأساليب الواعدة لمواجهة هذا التحدي، ولكن، كما يشير ريدي، يتطلب التنفيذ الناجح دراسة متأنية للفروق الدقيقة في اللغة وسلوك المستخدم.