LinkedIn отказалась от промпт-инжиниринга и вместо этого добилась успеха с помощью небольших, точно настроенных моделей для своей системы рекомендаций вакансий нового поколения. Эрран Бергер, вице-президент по разработке продуктов в LinkedIn, рассказал в недавнем подкасте "Beyond the Pilot", что компания пришла к выводу, что промпт-инжиниринг не подходит для достижения желаемой точности, задержки и повышения эффективности.

Вместо этого LinkedIn разработала подробный документ о политике продукта для точной настройки исходной модели с 7 миллиардами параметров. Затем эта модель была преобразована в меньшие "учительские" и "ученические" модели, оптимизированные до сотен миллионов параметров. Этот метод дистилляции с несколькими "учителями" оказался прорывным, создав повторяемый процесс, который сейчас используется во всех AI-продуктах LinkedIn. "Мы просто никак не смогли бы сделать это с помощью промптинга", - сказал Бергер. "Мы даже не пытались использовать его для систем рекомендаций нового поколения, потому что поняли, что это бесперспективно".

LinkedIn разрабатывает системы AI-рекомендаций уже более 15 лет. Компания стремилась выйти за рамки готовых моделей, чтобы расширить свои возможности по установлению связи между соискателями и подходящими вакансиями. Переход к меньшим, более специализированным моделям отражает растущую тенденцию в разработке AI. В то время как большие языковые модели (LLM) привлекли к себе значительное внимание, они могут быть вычислительно дорогими и неэффективными для конкретных задач. Точная настройка небольших моделей на целевых наборах данных обеспечивает больший контроль, улучшенную производительность и снижение потребления ресурсов.

Процесс включает в себя создание большей, более общей модели, а затем обучение меньших моделей имитировать ее поведение в конкретной задаче. Это позволяет меньшим моделям унаследовать знания большей модели, оставаясь при этом более эффективными и сфокусированными. Создание повторяемой "пошаговой инструкции" для разработки AI означает переход к стандартизированным и масштабируемым AI-решениям в LinkedIn.

Бергер подчеркнул значительное улучшение качества в результате этого нового подхода. "Внедрение этого процесса оценки от начала до конца приведет к существенному улучшению качества, которого мы, вероятно, не видели здесь, в LinkedIn, уже много лет", - заявил он. В настоящее время компания внедряет эту методологию во всем наборе AI-продуктов, что свидетельствует о более широком переходе к точно настроенным, меньшим моделям внутри организации. Успех подхода LinkedIn может повлиять на другие компании, разрабатывающие системы рекомендаций на основе AI, что потенциально приведет к большему акценту на дистилляции моделей и специализированных AI-решениях.