Laut Erran Berger, VP of Product Engineering bei LinkedIn, der im Beyond the Pilot Podcast sprach, umging LinkedIn das Prompt Engineering und nutzte stattdessen Modelldestillation, um sein Empfehlungssystem der nächsten Generation zu entwickeln. Das Unternehmen, ein langjähriger Vorreiter bei KI-Empfehlungssystemen, stellte fest, dass Prompt Engineering nicht ausreichte, um die gewünschte Genauigkeit, Latenz und Effizienz zu erreichen, die für die Vermittlung von Arbeitssuchenden an Stellenangebote erforderlich sind.

Berger erklärte, dass Prompting für diese spezielle Anwendung als "No-Go" betrachtet wurde. Stattdessen entwickelte LinkedIn ein detailliertes Produktrichtliniendokument, um ein anfängliches Modell mit 7 Milliarden Parametern zu optimieren. Dieses Modell wurde dann in kleinere, effizientere Lehrer- und Schülermodelle destilliert, die auf Hunderte von Millionen von Parametern optimiert wurden. Dieser Prozess der Multi-Teacher-Destillation erwies sich als der entscheidende Durchbruch.

Modelldestillation ist eine Technik des maschinellen Lernens, bei der ein kleineres, effizienteres Modell (der Schüler) trainiert wird, um das Verhalten eines größeren, komplexeren Modells (des Lehrers) nachzubilden. Dies ermöglicht den Einsatz von KI-Modellen in ressourcenbeschränkten Umgebungen, ohne dass die Genauigkeit wesentlich beeinträchtigt wird. Im Fall von LinkedIn diente das anfängliche Modell mit 7 Milliarden Parametern als Grundlage für die Erstellung kleinerer, spezialisierterer Modelle, die auf spezifische Empfehlungsaufgaben zugeschnitten sind.

Die Entwicklung dieses neuen Ansatzes hat zu einem wiederholbaren "Kochbuch" geführt, das nun in verschiedenen KI-Produkten innerhalb von LinkedIn angewendet wird. Berger geht davon aus, dass die Einführung dieses End-to-End-Evaluierungsprozesses zu erheblichen Qualitätsverbesserungen führen wird, die die der letzten Jahre übertreffen.

Die Erfahrungen von LinkedIn verdeutlichen einen wachsenden Trend in der KI-Community: die Verlagerung hin zu spezialisierten, fein abgestimmten Modellen, anstatt sich ausschließlich auf Prompt Engineering mit großen Sprachmodellen zu verlassen. Während Prompting seinen Platz hat, ist es möglicherweise nicht immer die effektivste oder effizienteste Lösung für komplexe Aufgaben, die hohe Präzision und geringe Latenz erfordern. Der Erfolg des Unternehmens mit Modelldestillation deutet darauf hin, dass ein gezielterer Ansatz, der eine sorgfältige Modellgestaltung und -schulung beinhaltet, in bestimmten Anwendungen zu besseren Ergebnissen führen kann. Die Auswirkungen dieses Ansatzes könnten über Empfehlungssysteme hinausgehen und die Entwicklung von KI-Lösungen in verschiedenen Branchen beeinflussen.