लिंक्डइन ने प्रॉम्प्ट इंजीनियरिंग को दरकिनार करते हुए, मॉडल डिस्टिलेशन का उपयोग करके अपनी अगली पीढ़ी की अनुशंसा प्रणाली बनाई है, जैसा कि लिंक्डइन के उत्पाद इंजीनियरिंग के उपाध्यक्ष एरन बर्जर ने बियॉन्ड द पायलट पॉडकास्ट पर बोलते हुए बताया। कंपनी, जो AI अनुशंसा प्रणालियों में लंबे समय से अग्रणी है, ने पाया कि नौकरी चाहने वालों को अवसरों से मिलाने के लिए आवश्यक सटीकता, विलंबता और दक्षता के वांछित स्तरों को प्राप्त करने के लिए प्रॉम्प्ट इंजीनियरिंग अपर्याप्त थी।

बर्जर ने कहा कि इस विशिष्ट एप्लिकेशन के लिए प्रॉम्प्टिंग को "गैर-शुरुआती" माना गया था। इसके बजाय, लिंक्डइन ने प्रारंभिक 7-बिलियन-पैरामीटर मॉडल को ठीक करने के लिए एक विस्तृत उत्पाद नीति दस्तावेज़ विकसित किया। फिर इस मॉडल को छोटे, अधिक कुशल शिक्षक और छात्र मॉडल में डिस्टिल किया गया, जिसे सैकड़ों मिलियन पैरामीटरों के लिए अनुकूलित किया गया। मल्टी-टीचर डिस्टिलेशन की यह प्रक्रिया महत्वपूर्ण सफलता साबित हुई।

मॉडल डिस्टिलेशन मशीन लर्निंग में एक तकनीक है जहाँ एक छोटे, अधिक कुशल मॉडल (छात्र) को एक बड़े, अधिक जटिल मॉडल (शिक्षक) के व्यवहार की नकल करने के लिए प्रशिक्षित किया जाता है। यह महत्वपूर्ण सटीकता का त्याग किए बिना संसाधन-बाधित वातावरण में AI मॉडल की तैनाती की अनुमति देता है। लिंक्डइन के मामले में, प्रारंभिक 7-बिलियन-पैरामीटर मॉडल ने विशिष्ट अनुशंसा कार्यों के लिए तैयार किए गए छोटे, अधिक विशिष्ट मॉडल बनाने के लिए आधार के रूप में काम किया।

इस नए दृष्टिकोण के विकास के परिणामस्वरूप एक दोहराने योग्य "रेसिपी" बनी है जिसे अब लिंक्डइन के भीतर विभिन्न AI उत्पादों पर लागू किया जा रहा है। बर्जर का अनुमान है कि इस एंड-टू-एंड मूल्यांकन प्रक्रिया को अपनाने से गुणवत्ता में पर्याप्त सुधार होगा, जो हाल के वर्षों में देखे गए सुधारों से अधिक होगा।

लिंक्डइन का अनुभव AI समुदाय में एक बढ़ती प्रवृत्ति को उजागर करता है: बड़े भाषा मॉडल के साथ केवल प्रॉम्प्ट इंजीनियरिंग पर निर्भर रहने के बजाय, विशेष, ठीक-ठाक मॉडल की ओर बदलाव। जबकि प्रॉम्प्टिंग का अपना स्थान है, यह उच्च परिशुद्धता और कम विलंबता की आवश्यकता वाले जटिल कार्यों के लिए हमेशा सबसे प्रभावी या कुशल समाधान नहीं हो सकता है। मॉडल डिस्टिलेशन के साथ कंपनी की सफलता से पता चलता है कि सावधानीपूर्वक मॉडल डिज़ाइन और प्रशिक्षण से जुड़े अधिक लक्षित दृष्टिकोण से कुछ अनुप्रयोगों में बेहतर परिणाम मिल सकते हैं। इस दृष्टिकोण के निहितार्थ अनुशंसा प्रणालियों से परे जा सकते हैं, जो विभिन्न उद्योगों में AI समाधानों के विकास को प्रभावित करते हैं।