LinkedIn은 프롬프트 엔지니어링을 우회하고 대신 모델 증류를 사용하여 차세대 AI 추천 시스템을 구축했다고 LinkedIn의 제품 엔지니어링 부사장인 Erran Berger가 밝혔습니다. Beyond the Pilot 팟캐스트에서 Berger는 프롬프트가 필요한 정확도, 지연 시간 및 효율성 개선을 달성하는 데 "시작조차 할 수 없는 것"으로 간주되었다고 말했습니다.

LinkedIn은 프롬프트 엔지니어링에 의존하는 대신 70억 개의 매개변수 모델을 미세 조정하기 위한 자세한 제품 정책 문서를 개발했으며, 이후 수억 개의 매개변수를 가진 더 작고 최적화된 교사 및 학생 모델로 증류했습니다. 멀티 티처 증류로 알려진 이 접근 방식은 LinkedIn의 AI 제품 전반에 걸쳐 사용되는 반복 가능한 방법이 되었습니다.

LinkedIn은 15년 이상 AI 추천 시스템을 개발해 왔습니다. 회사는 기성품 모델이 구직 플랫폼의 요구 사항을 충족하기에 불충분하다는 것을 발견했습니다. 모델 증류로의 전환은 프롬프트를 통해 기존 대규모 언어 모델(LLM)을 활용하는 것보다 맞춤형 솔루션을 우선시하는 전략의 중요한 변화를 나타냅니다.

모델 증류는 더 작고 효율적인 모델(학생)이 더 크고 복잡한 모델(교사)의 동작을 모방하도록 훈련되는 기술입니다. LinkedIn의 경우 여러 교사 모델이 학생 모델을 안내하여 성능을 향상시키는 데 사용되었습니다. 이 프로세스를 통해 강력하면서도 리소스 효율적인 AI 모델을 만들 수 있으며, 이는 대규모 애플리케이션에 중요한 요소입니다.

Berger는 이 새로운 평가 프로세스의 영향력을 강조하면서 "LinkedIn에서 수년간 보지 못했던 수준의 상당한 품질 개선을 이끌어낼 것"이라고 말했습니다. 회사는 이 접근 방식이 사용자에게 더 관련성 높고 개인화된 채용 추천으로 이어질 것이라고 믿고 있습니다.

이번 개발은 AI 산업에서 증가하는 추세, 즉 특정 작업을 위해 설계된 특화되고 미세 조정된 모델로의 전환을 강조합니다. 대규모 언어 모델이 상당한 주목을 받았지만 LinkedIn과 같은 회사는 맞춤형 솔루션이 특정 애플리케이션에서 더 우수한 성능을 제공할 수 있다는 것을 발견하고 있습니다. 이러한 추세의 영향은 더 다양해진 AI 환경으로 이어질 수 있으며, 더 작고 효율적인 모델이 점점 더 중요한 역할을 수행할 것입니다.