O LinkedIn ignorou a engenharia de prompts e, em vez disso, usou a destilação de modelos para criar seus sistemas de recomendação de IA de última geração, de acordo com Erran Berger, VP de engenharia de produtos do LinkedIn, em um recente podcast Beyond the Pilot. A empresa descobriu que a engenharia de prompts não era uma opção viável para alcançar as melhorias necessárias de precisão, latência e eficiência para suas recomendações de candidatos a emprego.

Em vez disso, o LinkedIn desenvolveu um documento detalhado de política de produto para ajustar um modelo de 7 bilhões de parâmetros, que foi então destilado em modelos menores de professor e aluno com centenas de milhões de parâmetros. Este processo de destilação multi-professor provou ser um avanço, criando um método repetível agora usado em todos os produtos de IA do LinkedIn. "Simplesmente não havia como fazermos isso por meio de prompts", disse Berger. "Nem sequer tentamos isso para os sistemas de recomendação de última geração porque percebemos que era inviável."

O LinkedIn tem desenvolvido sistemas de recomendação de IA há mais de 15 anos, tornando-se um líder na área. A decisão da empresa de ir além dos modelos prontos reflete uma tendência crescente no desenvolvimento de IA, onde as organizações estão cada vez mais adaptando os modelos às necessidades e conjuntos de dados específicos. A destilação de modelos, a técnica empregada pelo LinkedIn, envolve treinar um modelo menor e mais eficiente (o aluno) para imitar o comportamento de um modelo maior e mais complexo (o professor). Essa abordagem pode reduzir significativamente os custos computacionais e melhorar o desempenho em ambientes com recursos limitados.

As implicações da abordagem do LinkedIn vão além do campo das recomendações de emprego. O sucesso da empresa com a destilação de modelos demonstra o potencial para as organizações criarem soluções de IA altamente personalizadas sem depender exclusivamente de modelos grandes e pré-treinados ou de engenharia de prompts extensiva. Isso pode levar a aplicações de IA mais acessíveis e eficientes em vários setores.

Berger prevê melhorias significativas na qualidade dos produtos de IA do LinkedIn como resultado da adoção desse processo de avaliação de ponta a ponta. "A adoção desse processo de avaliação de ponta a ponta impulsionará uma melhoria substancial na qualidade, como provavelmente não vemos há anos aqui no LinkedIn", afirmou. A empresa planeja continuar refinando suas técnicas de destilação de modelos e aplicá-las a outros recursos baseados em IA na plataforma.