LinkedIn은 차세대 추천 시스템을 위해 프롬프트 엔지니어링을 우회하고 대신 작고 고도로 정제된 모델을 중심으로 전략을 선택했다고 LinkedIn의 제품 엔지니어링 부사장 Erran Berger가 밝혔습니다. Beyond the Pilot 팟캐스트에서 Berger는 AI 모델을 안내하기 위해 특정 텍스트 입력을 만드는 기술인 프롬프트 엔지니어링이 원하는 수준의 정확성, 대기 시간 및 효율성을 달성하는 데 적합하지 않다고 판단했다고 설명했습니다.
대신 LinkedIn의 AI 팀은 70억 개의 매개변수 모델을 미세 조정하기 위한 자세한 제품 정책 문서를 개발했으며, 이후 수억 개의 매개변수를 가진 더 작은 교사 및 학생 모델로 증류되었습니다. 이 다중 교사 증류 방식은 획기적인 발전으로 입증되어 현재 LinkedIn의 AI 제품군 전반에서 활용되는 반복 가능한 프로세스를 만들었습니다.
프롬프트에서 벗어나기로 한 회사의 결정은 AI 개발에서 증가하는 추세, 즉 특정 작업에 맞춘 전문적이고 효율적인 모델을 추구하는 것을 강조합니다. 대규모 언어 모델(LLM)이 다재다능함으로 인해 두각을 나타냈지만 LinkedIn의 경험은 특히 속도와 정확성이 중요한 특정 애플리케이션에서 더 작고 미세 조정된 모델이 우수한 성능을 제공할 수 있음을 시사합니다.
Berger는 이 접근 방식에서 비롯된 상당한 품질 개선을 강조했습니다. "이 평가 프로세스를 엔드 투 엔드로 채택하면 LinkedIn에서 수년 동안 보지 못했던 수준의 상당한 품질 개선을 이끌어낼 것입니다."라고 그는 말했습니다.
LinkedIn은 15년 이상 AI 추천 시스템을 개발해 왔으며 이 분야의 선두 주자로 자리매김했습니다. 회사의 추천 시스템은 구직자를 관련 기회와 연결하고 전문가가 네트워크를 구축하는 데 중요한 역할을 합니다. 이 새로운 접근 방식은 플랫폼이 개인화되고 효과적인 추천을 제공하는 능력을 더욱 향상시키는 것을 목표로 합니다.
이러한 더 작고 효율적인 모델의 개발은 AI 환경에 더 광범위한 영향을 미칩니다. 이는 AI의 미래가 대규모 범용 모델과 더 작고 전문화된 모델이 함께 작동하는 조합을 포함할 수 있음을 시사합니다. 이 접근 방식은 보다 지속 가능하고 확장 가능한 AI 솔루션으로 이어져 배포에 필요한 컴퓨팅 리소스를 줄일 수 있습니다.
AI가 계속 발전함에 따라 LinkedIn의 경험은 차세대 AI 시스템 구축의 과제와 기회에 대한 귀중한 통찰력을 제공합니다. 효율성과 정확성에 대한 회사의 초점은 일반화된 모델에만 의존하기보다는 특정 요구 사항에 맞게 AI 솔루션을 조정하는 것이 중요하다는 점을 강조합니다. LinkedIn에서 개발한 반복 가능한 쿡북은 현재 회사 AI 제품 전반에서 재사용되고 있습니다.
Discussion
대화에 참여하세요
첫 댓글을 남겨보세요