De acordo com Erran Berger, VP de engenharia de produto do LinkedIn, o LinkedIn ignorou a engenharia de prompts e, em vez disso, usou a destilação de modelos para criar seus sistemas de recomendação de IA de última geração. Em sua participação no podcast Beyond the Pilot, Berger afirmou que o uso de prompts foi considerado um "fracasso" para alcançar as melhorias necessárias em precisão, latência e eficiência.

Em vez de depender da engenharia de prompts, o LinkedIn desenvolveu um documento detalhado de política de produto para ajustar um modelo de 7 bilhões de parâmetros, que foi posteriormente destilado em modelos menores e otimizados de "professor" e "aluno" com centenas de milhões de parâmetros. Essa abordagem, conhecida como destilação multi-professor, tornou-se um método repetível usado em todos os produtos de IA do LinkedIn.

O LinkedIn desenvolve sistemas de recomendação de IA há mais de 15 anos. A empresa descobriu que os modelos prontos para uso eram insuficientes para atender às demandas de sua plataforma de busca de empregos. A mudança para a destilação de modelos representa uma mudança significativa na estratégia, priorizando soluções personalizadas em vez de aproveitar os grandes modelos de linguagem (LLMs) existentes por meio de prompts.

A destilação de modelos é uma técnica em que um modelo menor e mais eficiente (o aluno) é treinado para imitar o comportamento de um modelo maior e mais complexo (o professor). No caso do LinkedIn, vários modelos de "professor" foram usados para orientar o modelo de "aluno", aprimorando seu desempenho. Esse processo permite a criação de modelos de IA poderosos e eficientes em termos de recursos, um fator crucial para aplicações em larga escala.

Berger enfatizou o impacto desse novo processo de avaliação, afirmando que ele "impulsionaria uma melhoria substancial na qualidade, como provavelmente não vemos há anos aqui no LinkedIn". A empresa acredita que essa abordagem levará a recomendações de emprego mais relevantes e personalizadas para seus usuários.

O desenvolvimento destaca uma tendência crescente no setor de IA: a mudança para modelos especializados e ajustados, projetados para tarefas específicas. Embora os grandes modelos de linguagem tenham ganhado atenção significativa, empresas como o LinkedIn estão descobrindo que soluções personalizadas podem fornecer desempenho superior em determinadas aplicações. As implicações dessa tendência podem levar a um cenário de IA mais diversificado, com modelos menores e mais eficientes desempenhando um papel cada vez mais importante.