طور باحثون في مختبر علوم الحاسوب والذكاء الاصطناعي (CSAIL) التابع لمعهد ماساتشوستس للتكنولوجيا (MIT) إطار عمل "تكراريًا" جديدًا يسمح لنماذج اللغة الكبيرة (LLMs) بمعالجة المطالبات التي تحتوي على ما يصل إلى 10 ملايين رمز دون الاستسلام لـ "تعفن السياق"، وهي مشكلة شائعة تقلل من الأداء مع زيادة طول الإدخال. هذا النهج المبتكر، المعروف باسم نماذج اللغة التكرارية (RLMs)، يعامل المطالبة الموسعة كبيئة خارجية يمكن لنموذج اللغة الكبير التفاعل معها برمجيًا.

بدلاً من إجبار المطالبة بأكملها على الدخول في نافذة السياق المحدودة للنموذج، يمكّن إطار عمل RLM نموذج اللغة الكبير من فحص وتفكيك واستدعاء نفسه بشكل متكرر على مقتطفات أصغر وأكثر قابلية للإدارة من النص. تعيد هذه الطريقة صياغة الاستدلال طويل السياق كمشكلة أنظمة، مما يسمح للنماذج بفحص المطالبات باستخدام التعليمات البرمجية. وفقًا لفريق معهد ماساتشوستس للتكنولوجيا، يسمح هذا لنماذج اللغة الكبيرة بالاستدلال على ملايين الرموز دون الحاجة إلى إعادة التدريب.

يعمل إطار العمل كغلاف حول نماذج اللغة الكبيرة الحالية، مما يجعله بديلاً محتملاً للتطبيقات التي تجري حاليًا مكالمات مباشرة لهذه النماذج. يمكن أن تؤدي سهولة التكامل هذه إلى تسريع اعتماده عبر مختلف الصناعات.

يعالج هذا التطوير تحديًا كبيرًا في مجال الذكاء الاصطناعي: "مشكلة سياق نموذج اللغة الكبير". في حين أن النماذج المتقدمة تظهر تطوراً متزايداً في الاستدلال، إلا أن قدرتها على معالجة كميات هائلة من المعلومات لا تزال محدودة. تتضمن الأساليب التقليدية توسيع نوافذ السياق أو تلخيص المعلومات القديمة، ولكن غالبًا ما تثبت هذه الطرق عدم كفايتها أو إدخال أخطاء.

يجادل باحثو معهد ماساتشوستس للتكنولوجيا بأن نماذج اللغة التكرارية تقدم حلاً أكثر عملية للمهام طويلة الأجل التي غالبًا ما تطغى على النماذج الحالية. تشمل أمثلة هذه المهام تحليل شامل لقاعدة التعليمات البرمجية، ومراجعة قانونية متعمقة، وعمليات استدلال معقدة متعددة الخطوات. من خلال تمكين نماذج اللغة الكبيرة من التعامل بفعالية مع هذه المهام، فإن إطار العمل لديه القدرة على تعزيز الإنتاجية وصنع القرار بشكل كبير في مختلف المجالات المهنية.

تمتد آثار هذه التكنولوجيا إلى ما وراء التطبيقات العملية الفورية. من خلال التغلب على قيود نوافذ السياق، يمكن لنماذج اللغة التكرارية أن تمهد الطريق لأنظمة الذكاء الاصطناعي الأكثر تطوراً والقادرة على التعامل مع المشاريع والتحليلات المعقدة طويلة الأجل. يمكن أن يؤدي ذلك إلى تقدم في مجالات مثل البحث العلمي والنمذجة المالية والتخطيط الاستراتيجي.

يستكشف فريق معهد ماساتشوستس للتكنولوجيا حاليًا المزيد من تطبيقات إطار عمل RLM ويعمل على تحسين أدائه. إنهم يتوقعون أن تلعب هذه التكنولوجيا دورًا حاسمًا في التطوير المستقبلي للذكاء الاصطناعي، مما يمكّن النماذج من معالجة المهام المعقدة والمتطلبة بشكل متزايد. يسلط البحث الضوء على تحول في التركيز من مجرد زيادة حجم النموذج إلى تطوير طرق أكثر ذكاءً وكفاءة لمعالجة المعلومات.