LinkedIn hat das Prompt-Engineering für seine Empfehlungssysteme der nächsten Generation umgangen und sich stattdessen für eine Strategie entschieden, die sich auf kleine, hoch entwickelte Modelle konzentriert, so Erran Berger, VP of Product Engineering bei LinkedIn. In einem Gespräch im Beyond the Pilot Podcast erklärte Berger, dass Prompt-Engineering, eine Technik, bei der spezifische Texteingaben erstellt werden, um KI-Modelle zu steuern, als ungeeignet angesehen wurde, um die gewünschte Genauigkeit, Latenz und Effizienz zu erreichen.

Stattdessen entwickelte das KI-Team von LinkedIn ein detailliertes Produktdokument, um ein 7-Milliarden-Parameter-Modell zu optimieren, das anschließend in kleinere Lehrer- und Schülermodelle mit Hunderten von Millionen von Parametern destilliert wurde. Dieser Multi-Teacher-Destillationsansatz erwies sich als Durchbruch und schuf einen wiederholbaren Prozess, der nun in der gesamten KI-Produktpalette von LinkedIn eingesetzt wird.

Die Entscheidung des Unternehmens, sich vom Prompting abzuwenden, unterstreicht einen wachsenden Trend in der KI-Entwicklung: das Streben nach spezialisierten, effizienten Modellen, die auf bestimmte Aufgaben zugeschnitten sind. Während große Sprachmodelle (LLMs) aufgrund ihrer Vielseitigkeit an Bedeutung gewonnen haben, deutet die Erfahrung von LinkedIn darauf hin, dass kleinere, fein abgestimmte Modelle in bestimmten Anwendungen eine überlegene Leistung bieten können, insbesondere dort, wo Geschwindigkeit und Präzision von größter Bedeutung sind.

Berger betonte die deutlichen Qualitätsverbesserungen, die sich aus diesem Ansatz ergeben. "Die Einführung dieses Evaluierungsprozesses von Anfang bis Ende wird zu einer erheblichen Qualitätsverbesserung führen, wie wir sie bei LinkedIn wahrscheinlich seit Jahren nicht mehr erlebt haben", sagte er.

LinkedIn entwickelt seit über 15 Jahren KI-Empfehlungssysteme und hat sich als führendes Unternehmen in diesem Bereich etabliert. Die Empfehlungssysteme des Unternehmens spielen eine entscheidende Rolle bei der Verbindung von Arbeitssuchenden mit relevanten Möglichkeiten und helfen Fachleuten beim Aufbau ihrer Netzwerke. Dieser neue Ansatz zielt darauf ab, die Fähigkeit der Plattform weiter zu verbessern, personalisierte und effektive Empfehlungen zu geben.

Die Entwicklung dieser kleineren, effizienteren Modelle hat breitere Auswirkungen auf die KI-Landschaft. Sie deutet darauf hin, dass die Zukunft der KI eine Kombination aus großen, universellen Modellen und kleineren, spezialisierten Modellen beinhalten könnte, die zusammenarbeiten. Dieser Ansatz könnte zu nachhaltigeren und skalierbareren KI-Lösungen führen und die für den Einsatz erforderlichen Rechenressourcen reduzieren.

Da sich die KI ständig weiterentwickelt, bietet die Erfahrung von LinkedIn wertvolle Einblicke in die Herausforderungen und Chancen beim Aufbau von KI-Systemen der nächsten Generation. Der Fokus des Unternehmens auf Effizienz und Genauigkeit unterstreicht, wie wichtig es ist, KI-Lösungen auf spezifische Bedürfnisse zuzuschneiden, anstatt sich ausschließlich auf verallgemeinerte Modelle zu verlassen. Das von LinkedIn entwickelte, wiederholbare Kochbuch wird nun für die KI-Produkte des gesamten Unternehmens wiederverwendet.