LinkedIn a contourné l'ingénierie des prompts et a plutôt utilisé la distillation de modèles pour créer ses systèmes de recommandation IA de nouvelle génération, selon Erran Berger, vice-président de l'ingénierie produit chez LinkedIn. S'exprimant sur le podcast Beyond the Pilot, Berger a déclaré que le prompting était considéré comme "non viable" pour atteindre les améliorations nécessaires en matière de précision, de latence et d'efficacité.

Au lieu de s'appuyer sur l'ingénierie des prompts, LinkedIn a élaboré un document de politique produit détaillé pour affiner un modèle de 7 milliards de paramètres, qui a ensuite été distillé en modèles maître et élève plus petits et optimisés, avec des centaines de millions de paramètres. Cette approche, connue sous le nom de distillation multi-maîtres, est devenue une méthode reproductible utilisée dans tous les produits d'IA de LinkedIn.

LinkedIn développe des systèmes de recommandation IA depuis plus de 15 ans. L'entreprise a constaté que les modèles prêts à l'emploi étaient insuffisants pour répondre aux exigences de sa plateforme de recherche d'emploi. Le passage à la distillation de modèles représente un changement de stratégie important, privilégiant les solutions personnalisées plutôt que l'exploitation des grands modèles de langage (LLM) par le biais du prompting.

La distillation de modèles est une technique où un modèle plus petit et plus efficace (l'élève) est entraîné à imiter le comportement d'un modèle plus grand et plus complexe (le maître). Dans le cas de LinkedIn, plusieurs modèles maîtres ont été utilisés pour guider le modèle élève, améliorant ainsi ses performances. Ce processus permet de créer des modèles d'IA à la fois puissants et économes en ressources, un facteur crucial pour les applications à grande échelle.

Berger a souligné l'impact de ce nouveau processus d'évaluation, déclarant qu'il "entraînerait une amélioration substantielle de la qualité, comme nous n'en avons probablement pas vu depuis des années chez LinkedIn". L'entreprise estime que cette approche permettra de proposer des recommandations d'emploi plus pertinentes et personnalisées à ses utilisateurs.

Ce développement met en évidence une tendance croissante dans l'industrie de l'IA : l'évolution vers des modèles spécialisés et affinés, conçus pour des tâches spécifiques. Bien que les grands modèles de langage aient suscité une attention considérable, des entreprises comme LinkedIn constatent que les solutions personnalisées peuvent offrir des performances supérieures dans certaines applications. Les implications de cette tendance pourraient conduire à un paysage de l'IA plus diversifié, avec des modèles plus petits et plus efficaces jouant un rôle de plus en plus important.