LinkedIn evitó la ingeniería de prompts para sus sistemas de recomendación de próxima generación, optando en cambio por una estrategia centrada en modelos pequeños y altamente refinados, según Erran Berger, vicepresidente de ingeniería de producto en LinkedIn. En su intervención en el podcast Beyond the Pilot, Berger explicó que la ingeniería de prompts, una técnica que consiste en elaborar entradas de texto específicas para guiar a los modelos de IA, se consideró inadecuada para alcanzar los niveles deseados de precisión, latencia y eficiencia.

En cambio, el equipo de IA de LinkedIn desarrolló un documento detallado de política de producto para ajustar un modelo de 7.000 millones de parámetros, que posteriormente se destiló en modelos maestro y alumno más pequeños con cientos de millones de parámetros. Este enfoque de destilación multi-maestro demostró ser un gran avance, creando un proceso repetible que ahora se utiliza en toda la suite de productos de IA de LinkedIn.

La decisión de la empresa de alejarse de los prompts pone de relieve una tendencia creciente en el desarrollo de la IA: la búsqueda de modelos especializados y eficientes adaptados a tareas específicas. Si bien los modelos de lenguaje grandes (LLM) han ganado importancia por su versatilidad, la experiencia de LinkedIn sugiere que los modelos más pequeños y ajustados pueden ofrecer un rendimiento superior en ciertas aplicaciones, particularmente donde la velocidad y la precisión son primordiales.

Berger enfatizó las importantes mejoras de calidad resultantes de este enfoque. "La adopción de este proceso de evaluación de principio a fin impulsará una mejora sustancial de la calidad, como probablemente no hemos visto en años aquí en LinkedIn", afirmó.

LinkedIn ha estado desarrollando sistemas de recomendación de IA durante más de 15 años, estableciéndose como líder en el campo. Los sistemas de recomendación de la empresa desempeñan un papel crucial a la hora de conectar a quienes buscan empleo con oportunidades relevantes y ayudar a los profesionales a construir sus redes. Este nuevo enfoque tiene como objetivo mejorar aún más la capacidad de la plataforma para proporcionar recomendaciones personalizadas y eficaces.

El desarrollo de estos modelos más pequeños y eficientes tiene implicaciones más amplias para el panorama de la IA. Sugiere que el futuro de la IA puede implicar una combinación de modelos grandes de propósito general y modelos más pequeños y especializados que trabajen en tándem. Este enfoque podría conducir a soluciones de IA más sostenibles y escalables, reduciendo los recursos computacionales necesarios para su implementación.

A medida que la IA continúa evolucionando, la experiencia de LinkedIn ofrece información valiosa sobre los desafíos y las oportunidades de la construcción de sistemas de IA de próxima generación. El enfoque de la empresa en la eficiencia y la precisión subraya la importancia de adaptar las soluciones de IA a las necesidades específicas, en lugar de depender únicamente de modelos generalizados. El "libro de cocina" repetible desarrollado por LinkedIn se está reutilizando ahora en todos los productos de IA de la empresa.