LinkedIn a contourné l'ingénierie des prompts et a plutôt rencontré le succès avec des modèles plus petits et affinés pour son système de recommandation d'emploi de nouvelle génération. Erran Berger, vice-président de l'ingénierie produit chez LinkedIn, a révélé dans un récent podcast "Beyond the Pilot" que l'entreprise a déterminé que l'ingénierie des prompts n'était pas viable pour atteindre les améliorations souhaitées en termes de précision, de latence et d'efficacité.

Au lieu de cela, LinkedIn a élaboré un document de politique produit détaillé pour affiner un modèle initial de 7 milliards de paramètres. Ce modèle a ensuite été distillé en modèles "enseignant" et "élève" plus petits, optimisés à des centaines de millions de paramètres. Cette technique de distillation multi-enseignant s'est avérée être une percée, créant un processus reproductible maintenant utilisé dans tous les produits d'IA de LinkedIn. "Il n'y avait tout simplement aucun moyen d'y parvenir par le biais du prompting", a déclaré Berger. "Nous n'avons même pas essayé cela pour les systèmes de recommandation de nouvelle génération parce que nous avons réalisé que c'était un échec dès le départ."

LinkedIn développe des systèmes de recommandation d'IA depuis plus de 15 ans. L'entreprise a cherché à aller au-delà des modèles prêts à l'emploi pour améliorer sa capacité à connecter les demandeurs d'emploi avec des opportunités pertinentes. Le passage à des modèles plus petits et plus spécialisés reflète une tendance croissante dans le développement de l'IA. Bien que les grands modèles de langage (LLM) aient suscité une attention considérable, ils peuvent être coûteux en termes de calcul et inefficaces pour des tâches spécifiques. L'affinage de modèles plus petits sur des ensembles de données ciblés permet un meilleur contrôle, des performances améliorées et une consommation de ressources réduite.

Le processus implique la création d'un modèle plus grand et plus général, puis la formation de modèles plus petits pour imiter son comportement sur une tâche spécifique. Cela permet aux modèles plus petits d'hériter des connaissances du modèle plus grand tout en restant plus efficaces et ciblés. La création d'un "livre de recettes" reproductible pour le développement de l'IA marque une évolution vers des solutions d'IA standardisées et évolutives au sein de LinkedIn.

Berger a souligné les améliorations significatives de la qualité résultant de cette nouvelle approche. "L'adoption de ce processus d'évaluation de bout en bout entraînera une amélioration substantielle de la qualité, comme nous n'en avons probablement pas vu depuis des années chez LinkedIn", a-t-il déclaré. L'entreprise met maintenant en œuvre cette méthodologie dans toute sa suite de produits d'IA, ce qui suggère un passage plus large vers des modèles plus petits et affinés au sein de l'organisation. Le succès de l'approche de LinkedIn pourrait influencer d'autres entreprises développant des systèmes de recommandation basés sur l'IA, ce qui pourrait conduire à une plus grande importance accordée à la distillation de modèles et aux solutions d'IA spécialisées.