De acordo com Erran Berger, VP de engenharia de produtos do LinkedIn, em declarações no podcast Beyond the Pilot, o LinkedIn contornou a engenharia de prompts e, em vez disso, usou a destilação de modelos para criar seu sistema de recomendação de última geração. A empresa, líder de longa data em sistemas de recomendação de IA, descobriu que a engenharia de prompts era insuficiente para atingir os níveis desejados de precisão, latência e eficiência necessários para combinar candidatos a empregos com oportunidades.

Berger afirmou que o uso de prompts foi considerado um "fracasso" para esta aplicação específica. Em vez disso, o LinkedIn desenvolveu um documento detalhado de política de produto para ajustar um modelo inicial de 7 bilhões de parâmetros. Este modelo foi então destilado em modelos de professor e aluno menores e mais eficientes, otimizados para centenas de milhões de parâmetros. Este processo de destilação multi-professor provou ser o principal avanço.

A destilação de modelos é uma técnica em aprendizado de máquina onde um modelo menor e mais eficiente (o aluno) é treinado para imitar o comportamento de um modelo maior e mais complexo (o professor). Isso permite a implantação de modelos de IA em ambientes com restrição de recursos sem sacrificar a precisão significativa. No caso do LinkedIn, o modelo inicial de 7 bilhões de parâmetros serviu de base para a criação de modelos menores e mais especializados, adaptados para tarefas de recomendação específicas.

O desenvolvimento desta nova abordagem resultou em um "livro de receitas" repetível que agora está sendo aplicado em vários produtos de IA dentro do LinkedIn. Berger prevê que a adoção deste processo de avaliação de ponta a ponta levará a melhorias substanciais na qualidade, superando as observadas nos últimos anos.

A experiência do LinkedIn destaca uma tendência crescente na comunidade de IA: a mudança para modelos especializados e ajustados, em vez de depender exclusivamente da engenharia de prompts com grandes modelos de linguagem. Embora o uso de prompts tenha seu lugar, pode nem sempre ser a solução mais eficaz ou eficiente para tarefas complexas que exigem alta precisão e baixa latência. O sucesso da empresa com a destilação de modelos sugere que uma abordagem mais direcionada, envolvendo um design e treinamento cuidadosos do modelo, pode produzir resultados superiores em certas aplicações. As implicações desta abordagem podem estender-se para além dos sistemas de recomendação, influenciando o desenvolvimento de soluções de IA em vários setores.