O LinkedIn contornou a engenharia de prompts e, em vez disso, obteve sucesso com modelos menores e ajustados para seu sistema de recomendação de empregos de próxima geração. Erran Berger, VP de engenharia de produtos do LinkedIn, revelou em um recente podcast "Beyond the Pilot" que a empresa determinou que a engenharia de prompts não era viável para alcançar as melhorias desejadas em precisão, latência e eficiência.

Em vez disso, o LinkedIn desenvolveu um documento detalhado de política de produto para ajustar um modelo inicial de 7 bilhões de parâmetros. Este modelo foi então destilado em modelos "professor" e "aluno" menores, otimizados para centenas de milhões de parâmetros. Essa técnica de destilação multi-professor provou ser um avanço, criando um processo repetível agora usado em todos os produtos de IA do LinkedIn. "Simplesmente não havia como fazermos isso por meio de prompts", disse Berger. "Nem sequer tentamos isso para sistemas de recomendação de próxima geração porque percebemos que era inviável."

O LinkedIn tem desenvolvido sistemas de recomendação de IA há mais de 15 anos. A empresa procurou ir além dos modelos prontos para uso para aprimorar sua capacidade de conectar candidatos a empregos com oportunidades relevantes. A mudança para modelos menores e mais especializados reflete uma tendência crescente no desenvolvimento de IA. Embora os grandes modelos de linguagem (LLMs) tenham ganhado atenção significativa, eles podem ser computacionalmente caros e ineficientes para tarefas específicas. O ajuste fino de modelos menores em conjuntos de dados direcionados permite maior controle, melhor desempenho e menor consumo de recursos.

O processo envolve a criação de um modelo maior e mais geral e, em seguida, o treinamento de modelos menores para imitar seu comportamento em uma tarefa específica. Isso permite que os modelos menores herdem o conhecimento do modelo maior, permanecendo mais eficientes e focados. A criação de um "livro de receitas" repetível para o desenvolvimento de IA significa uma mudança em direção a soluções de IA padronizadas e escaláveis dentro do LinkedIn.

Berger enfatizou as melhorias significativas na qualidade resultantes dessa nova abordagem. "A adoção desse processo de avaliação de ponta a ponta impulsionará uma melhoria substancial na qualidade, como provavelmente não vemos há anos aqui no LinkedIn", afirmou. A empresa agora está implementando essa metodologia em todo o seu conjunto de produtos de IA, sugerindo uma mudança mais ampla em direção a modelos menores e ajustados dentro da organização. O sucesso da abordagem do LinkedIn pode influenciar outras empresas que desenvolvem sistemas de recomendação baseados em IA, potencialmente levando a uma maior ênfase na destilação de modelos e em soluções de IA especializadas.