Согласно Эррану Бергеру, вице-президенту по разработке продуктов в LinkedIn, компания отказалась от разработки промптов и вместо этого использовала дистилляцию моделей для создания системы рекомендаций нового поколения. Об этом он рассказал в подкасте Beyond the Pilot. Компания, являющаяся давним лидером в области систем рекомендаций на основе ИИ, обнаружила, что разработка промптов недостаточна для достижения желаемого уровня точности, задержки и эффективности, необходимых для сопоставления соискателей с возможностями трудоустройства.

Бергер заявил, что разработка промптов была признана "неприемлемой" для этого конкретного приложения. Вместо этого LinkedIn разработала подробный документ с политикой продукта для тонкой настройки исходной модели с 7 миллиардами параметров. Затем эта модель была дистиллирована в более мелкие и эффективные модели учителя и ученика, оптимизированные до сотен миллионов параметров. Этот процесс многоступенчатой дистилляции оказался ключевым прорывом.

Дистилляция моделей — это метод машинного обучения, при котором меньшая, более эффективная модель (ученик) обучается имитировать поведение большей, более сложной модели (учителя). Это позволяет развертывать модели ИИ в средах с ограниченными ресурсами без значительной потери точности. В случае LinkedIn исходная модель с 7 миллиардами параметров послужила основой для создания меньших, более специализированных моделей, предназначенных для конкретных задач рекомендаций.

Разработка этого нового подхода привела к созданию повторяющегося "сборника рецептов", который сейчас применяется в различных продуктах ИИ в LinkedIn. Бергер ожидает, что внедрение этого сквозного процесса оценки приведет к существенному улучшению качества, превосходящему результаты последних лет.

Опыт LinkedIn подчеркивает растущую тенденцию в сообществе ИИ: переход к специализированным, точно настроенным моделям, а не к опоре исключительно на разработку промптов с использованием больших языковых моделей. Хотя разработка промптов имеет свое место, она не всегда является наиболее эффективным или действенным решением для сложных задач, требующих высокой точности и низкой задержки. Успех компании с дистилляцией моделей предполагает, что более целенаправленный подход, включающий тщательное проектирование и обучение моделей, может дать превосходные результаты в определенных приложениях. Последствия этого подхода могут выйти за рамки систем рекомендаций, повлияв на разработку решений ИИ в различных отраслях.