O LinkedIn abandonou a engenharia de prompts para seus sistemas de recomendação de última geração, optando por uma estratégia centrada em modelos pequenos e altamente refinados, de acordo com Erran Berger, VP de engenharia de produto do LinkedIn. Em sua participação no podcast Beyond the Pilot, Berger explicou que a engenharia de prompts, uma técnica que envolve a criação de entradas de texto específicas para orientar modelos de IA, foi considerada inadequada para atingir os níveis desejados de precisão, latência e eficiência.

Em vez disso, a equipe de IA do LinkedIn desenvolveu um documento detalhado de política de produto para ajustar um modelo de 7 bilhões de parâmetros, que foi subsequentemente destilado em modelos menores de "professor" e "aluno" com centenas de milhões de parâmetros. Essa abordagem de destilação multi-professor provou ser um avanço, criando um processo repetível agora utilizado em todo o conjunto de produtos de IA do LinkedIn.

A decisão da empresa de se afastar dos prompts destaca uma tendência crescente no desenvolvimento de IA: a busca por modelos especializados e eficientes, adaptados a tarefas específicas. Embora os grandes modelos de linguagem (LLMs) tenham ganhado destaque por sua versatilidade, a experiência do LinkedIn sugere que modelos menores e ajustados podem oferecer desempenho superior em certas aplicações, particularmente onde velocidade e precisão são fundamentais.

Berger enfatizou as melhorias significativas na qualidade resultantes dessa abordagem. "A adoção desse processo de avaliação de ponta a ponta impulsionará uma melhoria substancial na qualidade, como provavelmente não vemos há anos aqui no LinkedIn", afirmou.

O LinkedIn desenvolve sistemas de recomendação de IA há mais de 15 anos, estabelecendo-se como líder na área. Os sistemas de recomendação da empresa desempenham um papel crucial na conexão de candidatos a empregos com oportunidades relevantes e ajudam os profissionais a construir suas redes. Essa nova abordagem visa aprimorar ainda mais a capacidade da plataforma de fornecer recomendações personalizadas e eficazes.

O desenvolvimento desses modelos menores e mais eficientes tem implicações mais amplas para o cenário da IA. Sugere que o futuro da IA pode envolver uma combinação de modelos grandes e de propósito geral e modelos menores e especializados trabalhando em conjunto. Essa abordagem pode levar a soluções de IA mais sustentáveis e escaláveis, reduzindo os recursos computacionais necessários para a implantação.

À medida que a IA continua a evoluir, a experiência do LinkedIn oferece informações valiosas sobre os desafios e oportunidades de construir sistemas de IA de última geração. O foco da empresa em eficiência e precisão ressalta a importância de adaptar as soluções de IA a necessidades específicas, em vez de depender apenas de modelos generalizados. O "cookbook" repetível desenvolvido pelo LinkedIn está agora sendo reutilizado em todos os produtos de IA da empresa.