LinkedInは、プロンプトエンジニアリングを回避し、代わりにモデル蒸留を使用して次世代のレコメンデーションシステムを構築したと、LinkedInの製品エンジニアリング担当VPであるErran Berger氏がBeyond the Pilotポッドキャストで語りました。AIレコメンダーシステムの長年のリーダーである同社は、求職者と機会のマッチングに必要な精度、レイテンシー、効率のレベルを達成するには、プロンプトエンジニアリングでは不十分であると判断しました。

Berger氏は、プロンプトは今回の特定のアプリケーションでは「最初からありえない」と考えられていたと述べました。代わりに、LinkedInは詳細な製品ポリシー文書を作成し、初期の70億パラメータモデルを微調整しました。その後、このモデルは、数億パラメータに最適化された、より小型で効率的な教師モデルと生徒モデルに蒸留されました。このマルチ教師蒸留のプロセスが、重要なブレークスルーとなりました。

モデル蒸留は、機械学習におけるテクニックの1つで、より小型で効率的なモデル（生徒）が、より大型で複雑なモデル（教師）の動作を模倣するように訓練されます。これにより、大幅な精度を犠牲にすることなく、リソースに制約のある環境でAIモデルをデプロイできます。LinkedInの場合、初期の70億パラメータモデルは、特定のレコメンデーションタスクに合わせて調整された、より小型で特殊なモデルを作成するための基盤として機能しました。

この新しいアプローチの開発により、再現可能な「クックブック」が作成され、現在LinkedIn内のさまざまなAI製品に適用されています。Berger氏は、このエンドツーエンドの評価プロセスの採用により、近年見られたものを上回る、品質の大幅な改善につながると予測しています。

LinkedInの経験は、AIコミュニティにおける、大規模言語モデルでのプロンプトエンジニアリングのみに頼るのではなく、特殊化され、微調整されたモデルへの移行という、高まりつつあるトレンドを浮き彫りにしています。プロンプトにはその役割がありますが、高い精度と低いレイテンシーを必要とする複雑なタスクにとって、常に最も効果的または効率的なソリューションであるとは限りません。モデル蒸留による同社の成功は、慎重なモデル設計とトレーニングを含む、より的を絞ったアプローチが、特定のアプリケーションで優れた結果をもたらす可能性があることを示唆しています。このアプローチの影響は、レコメンダーシステムにとどまらず、さまざまな業界におけるAIソリューションの開発に影響を与える可能性があります。