LinkedIn은 프롬프트 엔지니어링을 우회하고, 대신 차세대 채용 추천 시스템을 위해 더 작고 미세 조정된 모델에서 성공을 찾았습니다. LinkedIn의 제품 엔지니어링 부사장인 Erran Berger는 최근 "Beyond the Pilot" 팟캐스트에서 회사가 원하는 정확도, 지연 시간 및 효율성 개선을 달성하는 데 프롬프트 엔지니어링이 실현 불가능하다고 판단했다고 밝혔습니다.
대신 LinkedIn은 초기 70억 개의 매개변수 모델을 미세 조정하기 위해 자세한 제품 정책 문서를 개발했습니다. 그런 다음 이 모델을 수억 개의 매개변수로 최적화된 더 작은 "교사" 및 "학생" 모델로 증류했습니다. 이 다중 교사 증류 기술은 획기적인 기술로 입증되어 현재 LinkedIn의 AI 제품 전반에 걸쳐 사용되는 반복 가능한 프로세스를 만들었습니다. Berger는 "프롬프팅을 통해서는 절대 할 수 없었습니다."라며 "차세대 추천 시스템에는 시도조차 하지 않았습니다. 시작조차 할 수 없다는 것을 깨달았기 때문입니다."라고 말했습니다.
LinkedIn은 15년 이상 AI 추천 시스템을 개발해 왔습니다. 회사는 구직자를 관련 기회와 연결하는 능력을 향상시키기 위해 기성품 모델을 넘어 발전하고자 했습니다. 더 작고 전문화된 모델로의 전환은 AI 개발에서 증가하는 추세를 반영합니다. 대규모 언어 모델(LLM)이 상당한 주목을 받았지만 특정 작업에는 계산 비용이 많이 들고 비효율적일 수 있습니다. 대상 데이터 세트에서 더 작은 모델을 미세 조정하면 더 큰 제어, 향상된 성능 및 감소된 리소스 소비가 가능합니다.
이 프로세스에는 더 크고 일반적인 모델을 만든 다음 특정 작업에서 해당 동작을 모방하도록 더 작은 모델을 훈련시키는 과정이 포함됩니다. 이를 통해 더 작은 모델은 더 효율적이고 집중된 상태를 유지하면서 더 큰 모델의 지식을 상속받을 수 있습니다. AI 개발을 위한 반복 가능한 "요리책"의 생성은 LinkedIn 내에서 표준화되고 확장 가능한 AI 솔루션으로의 전환을 의미합니다.
Berger는 이 새로운 접근 방식에서 비롯된 상당한 품질 개선을 강조했습니다. 그는 "이 평가 프로세스를 엔드 투 엔드로 채택하면 LinkedIn에서 수년 동안 보지 못했던 수준의 상당한 품질 개선이 이루어질 것입니다."라고 말했습니다. 회사는 현재 이 방법론을 AI 제품군 전체에 구현하고 있으며, 이는 조직 내에서 미세 조정된 더 작은 모델로의 광범위한 전환을 시사합니다. LinkedIn 접근 방식의 성공은 AI 기반 추천 시스템을 개발하는 다른 회사에 영향을 미쳐 모델 증류 및 전문화된 AI 솔루션에 대한 더 큰 강조로 이어질 수 있습니다.
Discussion
대화에 참여하세요
첫 댓글을 남겨보세요