Selon Erran Berger, vice-président de l'ingénierie produit chez LinkedIn, qui s'exprimait dans le podcast Beyond the Pilot, LinkedIn a contourné l'ingénierie des prompts et a plutôt utilisé la distillation de modèles pour créer son système de recommandation de nouvelle génération. L'entreprise, un leader de longue date dans les systèmes de recommandation basés sur l'IA, a constaté que l'ingénierie des prompts était insuffisante pour atteindre les niveaux de précision, de latence et d'efficacité souhaités pour mettre en relation les demandeurs d'emploi et les opportunités.

Berger a déclaré que le prompting était considéré comme "inacceptable" pour cette application spécifique. Au lieu de cela, LinkedIn a élaboré un document de politique produit détaillé pour affiner un modèle initial de 7 milliards de paramètres. Ce modèle a ensuite été distillé en modèles maître et élève plus petits et plus efficaces, optimisés à des centaines de millions de paramètres. Ce processus de distillation multi-maîtres s'est avéré être la principale percée.

La distillation de modèles est une technique d'apprentissage automatique où un modèle plus petit et plus efficace (l'élève) est entraîné à imiter le comportement d'un modèle plus grand et plus complexe (le maître). Cela permet de déployer des modèles d'IA dans des environnements aux ressources limitées sans sacrifier une précision significative. Dans le cas de LinkedIn, le modèle initial de 7 milliards de paramètres a servi de base à la création de modèles plus petits et plus spécialisés, adaptés à des tâches de recommandation spécifiques.

Le développement de cette nouvelle approche a abouti à un "livre de recettes" reproductible qui est maintenant appliqué à divers produits d'IA au sein de LinkedIn. Berger prévoit que l'adoption de ce processus d'évaluation de bout en bout entraînera des améliorations substantielles de la qualité, dépassant celles observées ces dernières années.

L'expérience de LinkedIn met en évidence une tendance croissante dans la communauté de l'IA : le passage à des modèles spécialisés et affinés plutôt que de s'appuyer uniquement sur l'ingénierie des prompts avec de grands modèles de langage. Bien que le prompting ait sa place, il n'est pas toujours la solution la plus efficace ou la plus efficiente pour les tâches complexes nécessitant une haute précision et une faible latence. Le succès de l'entreprise avec la distillation de modèles suggère qu'une approche plus ciblée, impliquant une conception et un entraînement minutieux des modèles, peut donner des résultats supérieurs dans certaines applications. Les implications de cette approche pourraient s'étendre au-delà des systèmes de recommandation, influençant le développement de solutions d'IA dans divers secteurs.