Según Erran Berger, vicepresidente de ingeniería de producto en LinkedIn, en el podcast Beyond the Pilot, LinkedIn evitó la ingeniería de prompts y, en cambio, utilizó la destilación de modelos para crear su sistema de recomendación de próxima generación. La empresa, líder desde hace mucho tiempo en sistemas de recomendación de IA, descubrió que la ingeniería de prompts era insuficiente para alcanzar los niveles deseados de precisión, latencia y eficiencia necesarios para conectar a quienes buscan empleo con oportunidades.

Berger afirmó que el uso de prompts se consideró "inviable" para esta aplicación específica. En cambio, LinkedIn desarrolló un documento detallado de política de producto para ajustar un modelo inicial de 7 mil millones de parámetros. Este modelo se destiló luego en modelos maestro y alumno más pequeños y eficientes, optimizados a cientos de millones de parámetros. Este proceso de destilación multi-maestro demostró ser el avance clave.

La destilación de modelos es una técnica en el aprendizaje automático donde un modelo más pequeño y eficiente (el alumno) se entrena para imitar el comportamiento de un modelo más grande y complejo (el maestro). Esto permite la implementación de modelos de IA en entornos con recursos limitados sin sacrificar una precisión significativa. En el caso de LinkedIn, el modelo inicial de 7 mil millones de parámetros sirvió como base para crear modelos más pequeños y especializados, adaptados para tareas de recomendación específicas.

El desarrollo de este nuevo enfoque ha dado como resultado un "libro de recetas" repetible que ahora se está aplicando en varios productos de IA dentro de LinkedIn. Berger anticipa que la adopción de este proceso de evaluación de extremo a extremo conducirá a mejoras sustanciales en la calidad, superando las observadas en los últimos años.

La experiencia de LinkedIn destaca una tendencia creciente en la comunidad de la IA: el cambio hacia modelos especializados y ajustados en lugar de depender únicamente de la ingeniería de prompts con grandes modelos de lenguaje. Si bien el uso de prompts tiene su lugar, puede que no siempre sea la solución más efectiva o eficiente para tareas complejas que requieren alta precisión y baja latencia. El éxito de la empresa con la destilación de modelos sugiere que un enfoque más específico, que involucre un diseño y entrenamiento cuidadosos del modelo, puede producir resultados superiores en ciertas aplicaciones. Las implicaciones de este enfoque podrían extenderse más allá de los sistemas de recomendación, influyendo en el desarrollo de soluciones de IA en diversas industrias.