LinkedInは、プロンプトエンジニアリングを回避し、代わりにモデル蒸留を使用して次世代のAIレコメンダーシステムを構築したと、LinkedInの製品エンジニアリング担当VPであるErran Berger氏が述べました。Beyond the Pilotポッドキャストで、Berger氏は、必要な精度、レイテンシー、効率の向上を達成するために、プロンプトは「最初からありえない」と見なされたと語りました。

LinkedInは、プロンプトエンジニアリングに頼る代わりに、詳細な製品ポリシー文書を作成し、70億パラメータのモデルを微調整し、その後、数億パラメータを持つ、より小さく最適化された教師モデルと生徒モデルに蒸留しました。このマルチ教師蒸留として知られるアプローチは、LinkedInのAI製品全体で使用される再現可能な方法となっています。

LinkedInは15年以上にわたり、AIレコメンダーシステムを開発してきました。同社は、既製のモデルでは、求職プラットフォームの要求を満たすには不十分であると判断しました。モデル蒸留への移行は、プロンプトを通じて既存の大規模言語モデル（LLM）を活用するよりも、カスタム構築のソリューションを優先する、戦略の大きな転換を表しています。

モデル蒸留は、より小さく、より効率的なモデル（生徒）が、より大きく、より複雑なモデル（教師）の動作を模倣するように訓練される手法です。LinkedInの場合、複数の教師モデルが生徒モデルを指導するために使用され、そのパフォーマンスが向上しました。このプロセスにより、大規模アプリケーションにとって重要な要素である、強力かつリソース効率の高いAIモデルを作成できます。

Berger氏は、この新しい評価プロセスの影響を強調し、LinkedInで「おそらく何年も見ていないような大幅な品質向上を推進するだろう」と述べました。同社は、このアプローチにより、ユーザーにとってより関連性が高く、パーソナライズされた求人情報が推奨されるようになると考えています。

この開発は、AI業界における成長傾向、つまり特定のタスク向けに設計された、特殊化された微調整モデルへの移行を浮き彫りにしています。大規模言語モデルは大きな注目を集めていますが、LinkedInのような企業は、カスタムソリューションが特定のアプリケーションで優れたパフォーマンスを提供できることを発見しています。この傾向がもたらす影響は、より多様なAI環境につながる可能性があり、より小さく、より効率的なモデルがますます重要な役割を果たすようになるでしょう。