LinkedIn은 프롬프트 엔지니어링을 우회하고 대신 모델 증류를 사용하여 차세대 추천 시스템을 구축했다고 LinkedIn의 제품 엔지니어링 부사장 Erran Berger가 Beyond the Pilot 팟캐스트에서 밝혔습니다. AI 추천 시스템 분야의 오랜 선두 주자인 LinkedIn은 구직자와 기회를 연결하는 데 필요한 정확도, 지연 시간 및 효율성 수준을 달성하는 데 프롬프트 엔지니어링이 충분하지 않다는 것을 발견했습니다.

Berger는 프롬프트가 이 특정 애플리케이션에서는 "시작조차 할 수 없는 것"으로 간주되었다고 말했습니다. 대신 LinkedIn은 초기 70억 개의 파라미터 모델을 미세 조정하기 위해 자세한 제품 정책 문서를 개발했습니다. 그런 다음 이 모델을 수억 개의 파라미터로 최적화된 더 작고 효율적인 교사 및 학생 모델로 증류했습니다. 이러한 다중 교사 증류 과정이 핵심적인 돌파구가 되었습니다.

모델 증류는 더 작고 효율적인 모델(학생)이 더 크고 복잡한 모델(교사)의 동작을 모방하도록 훈련되는 머신 러닝 기술입니다. 이를 통해 상당한 정확도를 희생하지 않고도 리소스가 제한된 환경에서 AI 모델을 배포할 수 있습니다. LinkedIn의 경우 초기 70억 개의 파라미터 모델은 특정 추천 작업에 맞게 조정된 더 작고 특화된 모델을 만드는 기반 역할을 했습니다.

이 새로운 접근 방식의 개발로 인해 LinkedIn 내의 다양한 AI 제품에 적용되고 있는 반복 가능한 "쿡북"이 탄생했습니다. Berger는 이러한 엔드 투 엔드 평가 프로세스의 채택으로 인해 최근 몇 년 동안 보았던 것보다 훨씬 더 큰 품질 향상이 이루어질 것으로 예상합니다.

LinkedIn의 경험은 AI 커뮤니티에서 증가하는 추세, 즉 대규모 언어 모델을 사용한 프롬프트 엔지니어링에만 의존하기보다는 특화되고 미세 조정된 모델로의 전환을 강조합니다. 프롬프트가 유용할 때도 있지만 높은 정밀도와 낮은 지연 시간이 필요한 복잡한 작업에 항상 가장 효과적이거나 효율적인 솔루션은 아닐 수 있습니다. 모델 증류를 통한 회사의 성공은 신중한 모델 설계 및 훈련을 포함하는 보다 표적화된 접근 방식이 특정 애플리케이션에서 더 나은 결과를 얻을 수 있음을 시사합니다. 이러한 접근 방식의 영향은 추천 시스템을 넘어 다양한 산업 분야의 AI 솔루션 개발에 영향을 미칠 수 있습니다.