Selon Erran Berger, vice-président de l'ingénierie produit chez LinkedIn, dans un récent podcast Beyond the Pilot, LinkedIn a contourné l'ingénierie des prompts et a plutôt utilisé la distillation de modèles pour créer ses systèmes de recommandation IA de nouvelle génération. L'entreprise a constaté que l'ingénierie des prompts n'était pas une option viable pour atteindre les améliorations nécessaires en matière de précision, de latence et d'efficacité pour ses recommandations aux chercheurs d'emploi.

Au lieu de cela, LinkedIn a élaboré un document de politique produit détaillé pour affiner un modèle de 7 milliards de paramètres, qui a ensuite été distillé en modèles enseignants et étudiants plus petits, avec des centaines de millions de paramètres. Ce processus de distillation multi-enseignant s'est avéré être une percée, créant une méthode reproductible désormais utilisée dans tous les produits d'IA de LinkedIn. "Il n'y avait tout simplement aucun moyen d'y parvenir par le biais du prompting", a déclaré Berger. "Nous n'avons même pas essayé cela pour les systèmes de recommandation de nouvelle génération, car nous avons réalisé que c'était un échec d'emblée."

LinkedIn développe des systèmes de recommandation IA depuis plus de 15 ans, ce qui en fait un leader dans le domaine. La décision de l'entreprise d'aller au-delà des modèles prêts à l'emploi reflète une tendance croissante dans le développement de l'IA, où les organisations adaptent de plus en plus les modèles à des besoins et des ensembles de données spécifiques. La distillation de modèles, la technique employée par LinkedIn, consiste à entraîner un modèle plus petit et plus efficace (l'étudiant) pour imiter le comportement d'un modèle plus grand et plus complexe (l'enseignant). Cette approche peut réduire considérablement les coûts de calcul et améliorer les performances dans les environnements où les ressources sont limitées.

Les implications de l'approche de LinkedIn vont au-delà du domaine des recommandations d'emploi. Le succès de l'entreprise avec la distillation de modèles démontre le potentiel pour les organisations de créer des solutions d'IA hautement personnalisées sans s'appuyer uniquement sur de grands modèles pré-entraînés ou sur une ingénierie des prompts extensive. Cela pourrait conduire à des applications d'IA plus accessibles et plus efficaces dans divers secteurs.

Berger prévoit des améliorations significatives de la qualité des produits d'IA de LinkedIn grâce à l'adoption de ce processus d'évaluation de bout en bout. "L'adoption de ce processus d'évaluation de bout en bout entraînera une amélioration substantielle de la qualité, comme nous n'en avons probablement pas vu depuis des années chez LinkedIn", a-t-il déclaré. L'entreprise prévoit de continuer à affiner ses techniques de distillation de modèles et de les appliquer à d'autres fonctionnalités basées sur l'IA sur la plateforme.