Согласно Эррану Бергеру, вице-президенту по разработке продуктов в LinkedIn, LinkedIn отказалась от промпт-инжиниринга и вместо этого использовала дистилляцию моделей для создания своих AI-систем рекомендаций следующего поколения. Об этом он рассказал в недавнем подкасте Beyond the Pilot. Компания обнаружила, что промпт-инжиниринг не является жизнеспособным вариантом для достижения необходимой точности, задержки и повышения эффективности для рекомендаций соискателям.

Вместо этого LinkedIn разработала подробный документ политики продукта для тонкой настройки модели с 7 миллиардами параметров, которая затем была дистиллирована в меньшие модели-учителя и модели-ученики с сотнями миллионов параметров. Этот процесс дистилляции с несколькими учителями оказался прорывным, создав повторяемый метод, который теперь используется во всех AI-продуктах LinkedIn. "Мы просто никак не смогли бы сделать это с помощью промптинга", - сказал Бергер. "Мы даже не пытались использовать его для систем рекомендаций следующего поколения, потому что поняли, что это бесперспективно".

LinkedIn разрабатывает AI-системы рекомендаций уже более 15 лет, что делает ее лидером в этой области. Решение компании отказаться от готовых моделей отражает растущую тенденцию в разработке AI, когда организации все чаще адаптируют модели к конкретным потребностям и наборам данных. Дистилляция моделей, метод, используемый LinkedIn, включает в себя обучение меньшей, более эффективной модели (ученика) имитировать поведение большей, более сложной модели (учителя). Этот подход может значительно снизить вычислительные затраты и повысить производительность в средах с ограниченными ресурсами.

Последствия подхода LinkedIn выходят за рамки рекомендаций по трудоустройству. Успех компании в дистилляции моделей демонстрирует потенциал для организаций создавать высоко персонализированные AI-решения, не полагаясь исключительно на большие, предварительно обученные модели или обширный промпт-инжиниринг. Это может привести к созданию более доступных и эффективных AI-приложений в различных отраслях.

Бергер ожидает значительного улучшения качества AI-продуктов LinkedIn в результате внедрения этого сквозного процесса оценки. "Внедрение этого процесса оценки сквозным образом приведет к существенному улучшению качества, подобного которому мы, вероятно, не видели здесь, в LinkedIn, уже много лет", - заявил он. Компания планирует и дальше совершенствовать свои методы дистилляции моделей и применять их к другим функциям платформы на основе AI.