Laut Erran Berger, VP of Product Engineering bei LinkedIn, in einem kürzlichen Beyond the Pilot Podcast, umging LinkedIn das Prompt Engineering und nutzte stattdessen Modelldestillation, um seine KI-Empfehlungssysteme der nächsten Generation zu erstellen. Das Unternehmen stellte fest, dass Prompt Engineering keine praktikable Option war, um die notwendigen Verbesserungen in Bezug auf Genauigkeit, Latenz und Effizienz für seine Empfehlungen für Jobsuchende zu erzielen.

Stattdessen entwickelte LinkedIn ein detailliertes Produktdokument, um ein Modell mit 7 Milliarden Parametern zu optimieren, das dann in kleinere Lehrer- und Schülermodelle mit Hunderten von Millionen Parametern destilliert wurde. Dieser Multi-Teacher-Destillationsprozess erwies sich als Durchbruch und schuf eine wiederholbare Methode, die nun in allen KI-Produkten von LinkedIn eingesetzt wird. "Es gab einfach keine Möglichkeit, dass wir das durch Prompting hätten erreichen können", sagte Berger. "Wir haben das für Empfehlungssysteme der nächsten Generation nicht einmal versucht, weil wir erkannt haben, dass es von vornherein zum Scheitern verurteilt war."

LinkedIn entwickelt seit über 15 Jahren KI-Empfehlungssysteme und ist damit führend auf diesem Gebiet. Die Entscheidung des Unternehmens, über Standardmodelle hinauszugehen, spiegelt einen wachsenden Trend in der KI-Entwicklung wider, bei dem Unternehmen Modelle zunehmend auf spezifische Bedürfnisse und Datensätze zuschneiden. Modelldestillation, die von LinkedIn angewandte Technik, beinhaltet das Trainieren eines kleineren, effizienteren Modells (des Schülers), um das Verhalten eines größeren, komplexeren Modells (des Lehrers) nachzubilden. Dieser Ansatz kann die Rechenkosten erheblich senken und die Leistung in ressourcenbeschränkten Umgebungen verbessern.

Die Auswirkungen des Ansatzes von LinkedIn gehen über den Bereich der Jobempfehlungen hinaus. Der Erfolg des Unternehmens mit Modelldestillation zeigt das Potenzial für Unternehmen, hochgradig angepasste KI-Lösungen zu erstellen, ohne sich ausschließlich auf große, vortrainierte Modelle oder umfangreiches Prompt Engineering zu verlassen. Dies könnte zu zugänglicheren und effizienteren KI-Anwendungen in verschiedenen Branchen führen.

Berger erwartet erhebliche Verbesserungen in der Qualität der KI-Produkte von LinkedIn als Ergebnis der Einführung dieses End-to-End-Evaluierungsprozesses. "Die Einführung dieses Evaluierungsprozesses durchgängig wird zu einer erheblichen Qualitätsverbesserung führen, wie wir sie bei LinkedIn wahrscheinlich seit Jahren nicht mehr gesehen haben", erklärte er. Das Unternehmen plant, seine Modelldestillationstechniken weiter zu verfeinern und sie auf andere KI-gestützte Funktionen auf der Plattform anzuwenden.