LinkedIn prescindió de la ingeniería de prompts y, en cambio, utilizó la destilación de modelos para crear sus sistemas de recomendación de IA de última generación, según Erran Berger, vicepresidente de ingeniería de producto en LinkedIn, en un reciente podcast de Beyond the Pilot. La empresa descubrió que la ingeniería de prompts no era una opción viable para lograr las mejoras necesarias en precisión, latencia y eficiencia para sus recomendaciones a quienes buscan empleo.

En cambio, LinkedIn desarrolló un documento detallado de política de producto para ajustar un modelo de 7 mil millones de parámetros, que luego se destiló en modelos de profesor y alumno más pequeños con cientos de millones de parámetros. Este proceso de destilación multi-profesor demostró ser un gran avance, creando un método repetible que ahora se utiliza en todos los productos de IA de LinkedIn. "Simplemente no había forma de que pudiéramos hacer eso a través de prompts", dijo Berger. "Ni siquiera lo intentamos para los sistemas de recomendación de última generación porque nos dimos cuenta de que no tenía futuro".

LinkedIn ha estado desarrollando sistemas de recomendación de IA durante más de 15 años, lo que la convierte en líder en el campo. La decisión de la empresa de ir más allá de los modelos listos para usar refleja una tendencia creciente en el desarrollo de la IA, donde las organizaciones adaptan cada vez más los modelos a necesidades y conjuntos de datos específicos. La destilación de modelos, la técnica empleada por LinkedIn, implica entrenar un modelo más pequeño y eficiente (el alumno) para imitar el comportamiento de un modelo más grande y complejo (el profesor). Este enfoque puede reducir significativamente los costes computacionales y mejorar el rendimiento en entornos con recursos limitados.

Las implicaciones del enfoque de LinkedIn se extienden más allá del ámbito de las recomendaciones de empleo. El éxito de la empresa con la destilación de modelos demuestra el potencial de las organizaciones para crear soluciones de IA altamente personalizadas sin depender únicamente de modelos grandes pre-entrenados o de una extensa ingeniería de prompts. Esto podría conducir a aplicaciones de IA más accesibles y eficientes en diversas industrias.

Berger anticipa mejoras significativas en la calidad de los productos de IA de LinkedIn como resultado de la adopción de este proceso de evaluación de extremo a extremo. "La adopción de este proceso de evaluación de extremo a extremo impulsará una mejora sustancial de la calidad, como probablemente no hemos visto en años aquí en LinkedIn", afirmó. La empresa planea continuar refinando sus técnicas de destilación de modelos y aplicándolas a otras funciones impulsadas por IA en la plataforma.