LinkedIn evitó la ingeniería de prompts y, en cambio, utilizó la destilación de modelos para crear sus sistemas de recomendación de IA de próxima generación, según Erran Berger, vicepresidente de ingeniería de producto en LinkedIn. En declaraciones en el podcast Beyond the Pilot, Berger afirmó que el prompting se consideró un "fracaso desde el principio" para lograr las mejoras necesarias en precisión, latencia y eficiencia.

En lugar de depender de la ingeniería de prompts, LinkedIn desarrolló un documento detallado de política de producto para ajustar un modelo de 7 mil millones de parámetros, que posteriormente se destiló en modelos de profesor y alumno más pequeños y optimizados con cientos de millones de parámetros. Este enfoque, conocido como destilación multi-profesor, se ha convertido en un método repetible utilizado en todos los productos de IA de LinkedIn.

LinkedIn ha estado desarrollando sistemas de recomendación de IA durante más de 15 años. La empresa descubrió que los modelos estándar eran insuficientes para satisfacer las demandas de su plataforma de búsqueda de empleo. El cambio a la destilación de modelos representa un cambio significativo en la estrategia, priorizando las soluciones personalizadas sobre el aprovechamiento de los grandes modelos de lenguaje (LLM) existentes a través del prompting.

La destilación de modelos es una técnica en la que un modelo más pequeño y eficiente (el alumno) se entrena para imitar el comportamiento de un modelo más grande y complejo (el profesor). En el caso de LinkedIn, se utilizaron múltiples modelos de profesor para guiar al modelo alumno, mejorando su rendimiento. Este proceso permite la creación de modelos de IA que son a la vez potentes y eficientes en el uso de recursos, un factor crucial para las aplicaciones a gran escala.

Berger enfatizó el impacto de este nuevo proceso de evaluación, afirmando que "impulsaría una mejora sustancial de la calidad como probablemente no hemos visto en años aquí en LinkedIn". La empresa cree que este enfoque conducirá a recomendaciones de empleo más relevantes y personalizadas para sus usuarios.

El desarrollo destaca una tendencia creciente en la industria de la IA: el cambio hacia modelos especializados y ajustados diseñados para tareas específicas. Si bien los grandes modelos de lenguaje han ganado una atención significativa, empresas como LinkedIn están descubriendo que las soluciones personalizadas pueden proporcionar un rendimiento superior en ciertas aplicaciones. Las implicaciones de esta tendencia podrían conducir a un panorama de IA más diverso, con modelos más pequeños y eficientes que desempeñen un papel cada vez más importante.