LinkedIn verzichtete auf Prompt Engineering und erzielte stattdessen mit kleineren, feinabgestimmten Modellen für sein Jobempfehlungssystem der nächsten Generation Erfolge. Erran Berger, VP of Product Engineering bei LinkedIn, enthüllte in einem kürzlich erschienenen "Beyond the Pilot"-Podcast, dass das Unternehmen zu dem Schluss gekommen war, dass Prompt Engineering nicht geeignet sei, um die gewünschte Genauigkeit, Latenz und Effizienz zu erreichen.

Stattdessen entwickelte LinkedIn ein detailliertes Product-Policy-Dokument, um ein anfängliches Modell mit 7 Milliarden Parametern zu optimieren. Dieses Modell wurde dann in kleinere "Teacher"- und "Student"-Modelle destilliert, die auf Hunderte von Millionen von Parametern optimiert wurden. Diese Multi-Teacher-Destillationstechnik erwies sich als Durchbruch und schuf einen wiederholbaren Prozess, der nun in allen KI-Produkten von LinkedIn eingesetzt wird. "Es gab einfach keine Möglichkeit, dass wir das durch Prompting hätten erreichen können", sagte Berger. "Wir haben das für Next-Gen-Recommender-Systeme gar nicht erst versucht, weil wir gemerkt haben, dass es von vornherein zum Scheitern verurteilt war."

LinkedIn entwickelt seit über 15 Jahren KI-Empfehlungssysteme. Das Unternehmen wollte über Standardmodelle hinausgehen, um seine Fähigkeit zu verbessern, Arbeitssuchende mit relevanten Möglichkeiten zu verbinden. Der Übergang zu kleineren, spezialisierteren Modellen spiegelt einen wachsenden Trend in der KI-Entwicklung wider. Während große Sprachmodelle (LLMs) viel Aufmerksamkeit erregt haben, können sie für bestimmte Aufgaben rechenintensiv und ineffizient sein. Die Feinabstimmung kleinerer Modelle auf gezielte Datensätze ermöglicht eine bessere Kontrolle, verbesserte Leistung und einen geringeren Ressourcenverbrauch.

Der Prozess umfasst die Erstellung eines größeren, allgemeineren Modells und das anschließende Training kleinerer Modelle, um dessen Verhalten bei einer bestimmten Aufgabe nachzuahmen. Dies ermöglicht es den kleineren Modellen, das Wissen des größeren Modells zu übernehmen, während sie effizienter und fokussierter bleiben. Die Erstellung eines wiederholbaren "Kochbuchs" für die KI-Entwicklung bedeutet einen Schritt hin zu standardisierten und skalierbaren KI-Lösungen innerhalb von LinkedIn.

Berger betonte die deutlichen Qualitätsverbesserungen, die sich aus diesem neuen Ansatz ergeben. "Die durchgängige Einführung dieses Evaluierungsprozesses wird zu einer erheblichen Qualitätsverbesserung führen, wie wir sie bei LinkedIn wahrscheinlich seit Jahren nicht mehr gesehen haben", sagte er. Das Unternehmen implementiert diese Methodik nun in seiner gesamten KI-Produktpalette, was auf eine breitere Verlagerung hin zu feinabgestimmten, kleineren Modellen innerhalb der Organisation hindeutet. Der Erfolg des Ansatzes von LinkedIn könnte andere Unternehmen beeinflussen, die KI-gestützte Empfehlungssysteme entwickeln, was möglicherweise zu einer stärkeren Betonung der Modelldestillation und spezialisierter KI-Lösungen führen könnte.