モデル蒸留（Model Distillation / Knowledge Distillation）は、大規模で高性能な「教師モデル（Teacher Model）」の知識を、より小型の「生徒モデル（Student Model）」に転移させる機械学習手法である。Hintonらが2015年に提唱した概念で、LLM時代においてSLM（Small Language Model）・オンデバイスAI・低コスト推論モデルを構築する中核技術として再び脚光を浴びている。Microsoft Phi-4・Google Gemma・Code Llamaなど現代の主要な小型モデルの多くが蒸留を活用している。
モデル蒸留の仕組み
蒸留の核心は「ラベルではなく教師モデルの確率分布（ソフトターゲット）を学習することで、ハードラベルだけでは得られない豊かな知識を転移できる」という洞察だ。通常の分類学習との違いを理解することが蒸留を正しく活用するための基本となる。
- ソフトターゲット（Soft Label）による学習
通常の分類では正解ラベルのみを使う（ハードラベル）。蒸留では教師モデルの出力確率分布（例：「犬：70%・猫：25%・狼：5%」）を正解として生徒モデルを学習させる。この確率分布には「この画像は犬に似ているが猫にも少し似ている」という教師モデルの暗黙知が含まれており、ハードラベル学習よりも豊かな知識を転移できる。「温度パラメータ（Temperature T）」でソフトネスを調整し、T>1で確率分布を滑らかにして暗黙知を引き出す。
- 中間層の蒸留（Feature Distillation）
最終出力だけでなく、教師モデルの中間層の特徴量（Attention Map・Hidden Stateなど）を生徒モデルに模倣させる手法だ。TinyBERT・PKD（Patient Knowledge Distillation）などが採用している。最終出力だけの蒸留より情報量が多く、より精度の高い知識転移が可能だが、モデルアーキテクチャの類似性が必要になる。Transformerベースのモデル間での蒸留に特に有効だ。
- データフリー蒸留・合成データ蒸留
元の学習データなしに教師モデルの出力だけを使って蒸留する手法だ。LLM蒸留では「教師LLMにデータを生成させ、その出力で生徒モデルを学習させる」合成データ蒸留がこのカテゴリに属する。Microsoft Phi-1・Phi-4シリーズはGPT-4に教科書品質のテキストを生成させて学習した代表例だ。データが非公開・プライバシー上利用不可の場合にも有効なアプローチだ。
モデル蒸留のメリット
蒸留は単なる「モデルの縮小」ではなく、知識の圧縮・転移を通じた効率化手法だ。LLM時代に蒸留が再注目される理由は明確で、「大規模モデルの性能を低コストで利用したい」というニーズに直接応えられるからだ。
- 推論コストの大幅削減
GPT-4クラスのモデルを直接利用するよりも、蒸留で作られた小型モデルを自前でホスティングする方が大量推論のコストを10〜100倍削減できるケースがある。同様のタスクで蒸留モデルがAPIコストより安価になるラインが存在し、規模の大きいサービスほど蒸留投資の回収が早い。特定タスクに特化した蒸留モデルはレイテンシも低く、リアルタイム処理に適している。
- ハードラベル学習より高い性能効率
同じサイズのモデルをゼロから学習させるより、蒸留を使った方が高性能なモデルを得られることが多い。教師モデルの「不正解候補の確率」に含まれる暗黙知により、データ効率が向上するためだ。同じデータ量で蒸留なしの学習と比較した場合、蒸留ありの方が性能が高くなるという結果が多くの研究で示されている。
- 特定タスクへの高精度適応
汎用LLMから特定タスク（コード生成・医療QA・法律文書など）に特化した蒸留モデルを作ることで、汎用モデルを超える性能を特定ドメインで発揮させることができる。Code Llamaはコード生成に特化したLlamaシリーズの蒸留例だ。企業固有の業務ドメインへの適応においても蒸留は有効なアプローチだ。
モデル蒸留のデメリット
蒸留にはコスト・技術的課題・倫理的問題も伴う。特に主要LLMプロバイダーの利用規約への抵触は商用サービスにとって深刻なリスクになりうるため、事前の確認が必須だ。
- 教師モデルのAPI利用規約の問題
OpenAI・Anthropicなど主要LLMプロバイダーの利用規約は、APIの出力を使って競合モデルを学習させることを禁止している。GPT-4の出力でモデルを蒸留することは、これらの規約に違反する可能性がある。規約を確認せずに商用サービスに蒸留モデルを使うと法的リスクが生じる。オープンウェイトモデル（LlamaシリーズなどApache 2.0やカスタムライセンスのもの）を教師モデルに使うのが安全な選択肢だ。
- 教師モデルのバイアス・エラーの継承
教師モデルのハルシネーション・偏見・誤りが生徒モデルにも引き継がれる。蒸留は知識だけでなくミスも転移させるため、生徒モデルの独立した評価が必要だ。特に医療・法律など高精度が求められるドメインでは、蒸留モデルの出力に対して独立した品質検証プロセスを設ける必要がある。
- 能力の上限は教師モデルに制約される
生徒モデルは教師モデルを超える能力を持てない（理論的上限は教師モデルの性能）。また高度な推論能力は小型モデルでは再現が難しく、タスクの複雑さによって蒸留効果に大きな差が出る。単純なタスクの蒸留効率は高いが、多段階推論・高度な創造性が必要なタスクでは蒸留だけでは限界がある。
モデル蒸留の活用例
モデル蒸留は研究から実用へと急速に移行しており、多くの主要なAI製品・サービスの背景で活用されている。
- Microsoft Phi-4（14B）：合成データ蒸留の集大成
GPT-4に生成させた高品質な教科書・コード・数学問題などの合成データで学習した14Bパラメータのモデルだ。MATH・GPQA・HumanEvalなどのベンチマークでGPT-4oと競合する性能を示し、「合成データ蒸留で大規模モデルに匹敵する小型モデルを作れる」ことを実証した。MITライセンスで商用利用可能だ。
- DistilBERT：BERTの蒸留モデル
Hugging FaceがBERT-baseから蒸留した40%小型・60%高速なモデルだ。BERTの97%の性能を維持しながら大幅に軽量化されており、エッジデバイスでの自然言語処理・リアルタイム推論に広く活用されている。蒸留による品質と効率のバランスの良さを示す代表的な事例だ。
- Apple Intelligence：オンデバイスSLM
AppleがiPhone・Mac向けに開発した小型AIモデル群だ。大規模サーバーモデルからの蒸留・量子化・最適化を組み合わせ、デバイス内のNPUで動作させている。ユーザーのプライバシーを保護しながら文章生成・要約・画像生成を実現する蒸留技術の実用化例だ。
モデル蒸留のまとめ
モデル蒸留はLLM時代において「大規模モデルの性能を現実的なコストで利用する」ための中核技術だ。SLM・オンデバイスAI・低コスト推論APIの多くが蒸留によって支えられており、その重要性は今後さらに高まる。APIの利用規約の確認・教師モデルのバイアス対策・適切な評価プロセスを踏まえたうえで、蒸留をAIシステム開発の重要な選択肢として活用すべきだ。