Laut Erran Berger, VP of Product Engineering bei LinkedIn, hat LinkedIn auf Prompt-Engineering verzichtet und stattdessen Modelldestillation eingesetzt, um seine KI-Empfehlungssysteme der nächsten Generation zu entwickeln. In einem Gespräch im Beyond the Pilot Podcast erklärte Berger, dass Prompting als "nicht realisierbar" angesehen wurde, um die notwendigen Verbesserungen in Bezug auf Genauigkeit, Latenz und Effizienz zu erzielen.

Anstatt sich auf Prompt-Engineering zu verlassen, entwickelte LinkedIn ein detailliertes Produktrichtliniendokument, um ein Modell mit 7 Milliarden Parametern zu optimieren, das anschließend in kleinere, optimierte Lehrer- und Schülermodelle mit Hunderten von Millionen Parametern destilliert wurde. Dieser Ansatz, bekannt als Multi-Teacher-Destillation, hat sich zu einer wiederholbaren Methode entwickelt, die in den KI-Produkten von LinkedIn eingesetzt wird.

LinkedIn entwickelt seit über 15 Jahren KI-Empfehlungssysteme. Das Unternehmen stellte fest, dass Standardmodelle nicht ausreichten, um die Anforderungen seiner Jobsuche-Plattform zu erfüllen. Der Übergang zur Modelldestillation stellt eine bedeutende strategische Verlagerung dar, bei der massgeschneiderte Lösungen Vorrang vor der Nutzung bestehender grosser Sprachmodelle (LLMs) durch Prompting haben.

Modelldestillation ist eine Technik, bei der ein kleineres, effizienteres Modell (der Schüler) trainiert wird, um das Verhalten eines grösseren, komplexeren Modells (der Lehrer) nachzuahmen. Im Fall von LinkedIn wurden mehrere Lehrermodelle verwendet, um das Schülermodell anzuleiten und seine Leistung zu verbessern. Dieser Prozess ermöglicht die Erstellung von KI-Modellen, die sowohl leistungsstark als auch ressourceneffizient sind, ein entscheidender Faktor für gross angelegte Anwendungen.

Berger betonte die Auswirkungen dieses neuen Evaluierungsprozesses und erklärte, dass er "substanzielle Qualitätsverbesserungen in einem Ausmass bewirken würde, wie wir sie hier bei LinkedIn wahrscheinlich seit Jahren nicht mehr gesehen haben". Das Unternehmen ist davon überzeugt, dass dieser Ansatz zu relevanteren und personalisierteren Jobempfehlungen für seine Nutzer führen wird.

Die Entwicklung unterstreicht einen wachsenden Trend in der KI-Branche: die Hinwendung zu spezialisierten, fein abgestimmten Modellen, die für bestimmte Aufgaben entwickelt wurden. Während grosse Sprachmodelle grosse Aufmerksamkeit erlangt haben, stellen Unternehmen wie LinkedIn fest, dass massgeschneiderte Lösungen in bestimmten Anwendungen eine überlegene Leistung bieten können. Die Auswirkungen dieses Trends könnten zu einer vielfältigeren KI-Landschaft führen, in der kleinere, effizientere Modelle eine immer wichtigere Rolle spielen.