Согласно Эррану Бергеру, вице-президенту по разработке продуктов в LinkedIn, LinkedIn отказалась от разработки промптов и вместо этого использовала дистилляцию моделей для создания своих рекомендательных AI-систем следующего поколения. Выступая в подкасте Beyond the Pilot, Бергер заявил, что промптинг был признан "непригодным" для достижения необходимой точности, задержки и повышения эффективности.

Вместо того чтобы полагаться на разработку промптов, LinkedIn разработала подробный документ о политике продукта для тонкой настройки модели с 7 миллиардами параметров, которая впоследствии была дистиллирована в меньшие, оптимизированные модели учителя и ученика с сотнями миллионов параметров. Этот подход, известный как многоуровневая дистилляция, стал повторяемым методом, используемым во всех AI-продуктах LinkedIn.

LinkedIn разрабатывает рекомендательные AI-системы уже более 15 лет. Компания обнаружила, что готовые модели недостаточны для удовлетворения потребностей ее платформы для поиска работы. Переход к дистилляции моделей представляет собой значительный сдвиг в стратегии, приоритет отдается индивидуальным решениям, а не использованию существующих больших языковых моделей (LLM) посредством промптинга.

Дистилляция моделей — это метод, при котором меньшая, более эффективная модель (ученик) обучается имитировать поведение большей, более сложной модели (учителя). В случае LinkedIn для обучения модели-ученика использовались несколько моделей-учителей, что повысило ее производительность. Этот процесс позволяет создавать AI-модели, которые являются одновременно мощными и ресурсоэффективными, что является решающим фактором для крупномасштабных приложений.

Бергер подчеркнул влияние этого нового процесса оценки, заявив, что он "приведет к существенному улучшению качества, которого мы, вероятно, не видели здесь, в LinkedIn, уже много лет". Компания считает, что этот подход приведет к более релевантным и персонализированным рекомендациям по работе для ее пользователей.

Эта разработка подчеркивает растущую тенденцию в AI-индустрии: переход к специализированным, точно настроенным моделям, предназначенным для конкретных задач. В то время как большие языковые модели привлекли значительное внимание, такие компании, как LinkedIn, обнаруживают, что индивидуальные решения могут обеспечить превосходную производительность в определенных приложениях. Последствия этой тенденции могут привести к более разнообразному AI-ландшафту, в котором меньшие, более эффективные модели будут играть все более важную роль.