LinkedIn dejó de lado la ingeniería de prompts y, en cambio, encontró el éxito con modelos más pequeños y ajustados para su sistema de recomendación de empleos de próxima generación. Erran Berger, vicepresidente de ingeniería de productos en LinkedIn, reveló en un reciente podcast "Beyond the Pilot" que la compañía determinó que la ingeniería de prompts no era viable para lograr las mejoras deseadas en precisión, latencia y eficiencia.

En cambio, LinkedIn desarrolló un documento detallado de política de producto para ajustar un modelo inicial de 7 mil millones de parámetros. Este modelo se destiló luego en modelos "maestro" y "alumno" más pequeños, optimizados a cientos de millones de parámetros. Esta técnica de destilación multi-maestro demostró ser un gran avance, creando un proceso repetible que ahora se utiliza en todos los productos de IA de LinkedIn. "Simplemente no había forma de que pudiéramos hacer eso a través de prompts", dijo Berger. "Ni siquiera lo intentamos para los sistemas de recomendación de próxima generación porque nos dimos cuenta de que no tenía futuro".

LinkedIn ha estado desarrollando sistemas de recomendación de IA durante más de 15 años. La compañía buscaba ir más allá de los modelos listos para usar para mejorar su capacidad de conectar a quienes buscan empleo con oportunidades relevantes. El cambio a modelos más pequeños y especializados refleja una tendencia creciente en el desarrollo de la IA. Si bien los modelos de lenguaje grandes (LLM) han ganado una atención significativa, pueden ser computacionalmente costosos e ineficientes para tareas específicas. El ajuste fino de modelos más pequeños en conjuntos de datos específicos permite un mayor control, un mejor rendimiento y un menor consumo de recursos.

El proceso implica la creación de un modelo más grande y general y luego el entrenamiento de modelos más pequeños para imitar su comportamiento en una tarea específica. Esto permite que los modelos más pequeños hereden el conocimiento del modelo más grande, al tiempo que siguen siendo más eficientes y enfocados. La creación de un "libro de cocina" repetible para el desarrollo de la IA significa un avance hacia soluciones de IA estandarizadas y escalables dentro de LinkedIn.

Berger enfatizó las importantes mejoras de calidad resultantes de este nuevo enfoque. "La adopción de este proceso de evaluación de principio a fin impulsará una mejora sustancial de la calidad, como probablemente no hemos visto en años aquí en LinkedIn", afirmó. La compañía ahora está implementando esta metodología en toda su suite de productos de IA, lo que sugiere un cambio más amplio hacia modelos más pequeños y ajustados dentro de la organización. El éxito del enfoque de LinkedIn podría influir en otras compañías que desarrollan sistemas de recomendación impulsados por IA, lo que podría conducir a un mayor énfasis en la destilación de modelos y las soluciones de IA especializadas.