LinkedIn은 프롬프트 엔지니어링을 우회하고 대신 모델 증류를 사용하여 차세대 AI 추천 시스템을 구축했다고 LinkedIn의 제품 엔지니어링 부사장 Erran Berger가 최근 Beyond the Pilot 팟캐스트에서 밝혔습니다. LinkedIn은 구직자 추천에 필요한 정확도, 지연 시간 및 효율성 개선을 달성하는 데 프롬프트 엔지니어링이 실현 가능한 옵션이 아니라는 것을 발견했습니다.

대신 LinkedIn은 70억 개의 파라미터 모델을 미세 조정하기 위한 자세한 제품 정책 문서를 개발한 다음, 수억 개의 파라미터를 가진 더 작은 교사 및 학생 모델로 증류했습니다. 이 다중 교사 증류 프로세스는 획기적인 발전으로 입증되어 현재 LinkedIn의 AI 제품 전반에 걸쳐 사용되는 반복 가능한 방법을 만들었습니다. Berger는 "프롬프팅을 통해서는 절대 그렇게 할 수 없었습니다."라며 "차세대 추천 시스템에는 시도조차 하지 않았습니다. 시작조차 할 수 없다는 것을 깨달았기 때문입니다."라고 말했습니다.

LinkedIn은 15년 이상 AI 추천 시스템을 개발해 왔으며 이 분야의 선두 주자입니다. 기성품 모델에서 벗어나기로 한 회사의 결정은 AI 개발의 증가 추세를 반영하며, 조직은 특정 요구 사항과 데이터 세트에 맞게 모델을 점점 더 맞춤화하고 있습니다. LinkedIn이 채택한 기술인 모델 증류는 더 크고 복잡한 모델(교사)의 동작을 모방하도록 더 작고 효율적인 모델(학생)을 훈련하는 것을 포함합니다. 이 접근 방식은 계산 비용을 크게 줄이고 리소스가 제한된 환경에서 성능을 향상시킬 수 있습니다.

LinkedIn의 접근 방식이 갖는 의미는 구직 추천 영역을 넘어 확장됩니다. 모델 증류에 대한 회사의 성공은 조직이 대규모의 사전 훈련된 모델이나 광범위한 프롬프트 엔지니어링에만 의존하지 않고도 고도로 맞춤화된 AI 솔루션을 만들 수 있는 잠재력을 보여줍니다. 이는 다양한 산업 분야에서 더욱 접근하기 쉽고 효율적인 AI 애플리케이션으로 이어질 수 있습니다.

Berger는 이러한 엔드 투 엔드 평가 프로세스를 채택한 결과 LinkedIn의 AI 제품 품질이 크게 향상될 것으로 예상합니다. 그는 "이 평가 프로세스를 엔드 투 엔드로 채택하면 LinkedIn에서 수년간 보지 못했던 수준의 상당한 품질 향상을 이끌어낼 것입니다."라고 말했습니다. 회사는 모델 증류 기술을 계속 개선하고 플랫폼의 다른 AI 기반 기능에 적용할 계획입니다.