RLHF（Reinforcement Learning from Human Feedback、人間のフィードバックによる強化学習）とは、AIの出力に対する人間の良し悪しの判断を報酬として学習させ、人間が望ましいと感じる振る舞いにモデルを近づける手法である。文章としての正しさではなく「人間にとって役に立つか、安全か」を学習の目標に据える点が特徴で、対話型の生成AIが自然に応答できるようになった主要な理由の一つとされる。
大量のテキストを学習しただけのモデルは、次に来る単語を予測する能力は高いものの、質問に答えるという振る舞いは身についていない。「日本の首都は」と入力すると「日本の首都は」で始まる文章の続きを書き出してしまうこともある。RLHFは、この「言語を知っている状態」と「人の役に立つ状態」の間にある溝を埋める工程にあたる。
RLHFの仕組み
RLHFは通常、3つの段階を順に実施する。
第一段階は教師ありファインチューニングである。人間が書いた模範的な応答例をモデルに学習させ、指示に答えるという形式そのものを覚えさせる。数万件程度の質の高い対話データが用いられ、この時点で応答の体裁は整う。
第二段階は報酬モデルの構築である。同じ質問に対してモデルに複数の応答を生成させ、人間の評価者がそれらを良い順に並べる。この順位づけデータを使って、応答を入力すると「人間がどれだけ好むか」を数値で出力する別のモデルを訓練する。点数を直接つけさせると評価者ごとのばらつきが大きくなるため、比較による順位づけを採る点が実務上の工夫である。
第三段階が強化学習による最適化である。元のモデルが応答を生成し、報酬モデルがそれを採点し、点数が高くなる方向にパラメータを更新する。このとき、報酬を追い求めすぎて元のモデルから離れすぎないよう、出力分布の変化に制約をかける。PPOと呼ばれるアルゴリズムが長く標準として用いられてきた。
RLHFのメリット
第一に、言葉で定義しにくい品質を学習させられる。「丁寧に」「わかりやすく」「断定しすぎずに」といった要求は、正解データとして書き下すことが難しい。しかし人間は2つの応答を見比べてどちらが良いかを判断できる。RLHFはその判断能力を学習信号に変換する仕組みだといえる。
第二に、安全性の制御に有効である。危険な要求への対応や、差別的な表現の回避といった振る舞いは、望ましい応答と望ましくない応答の対比によって学習させやすい。ルールベースの出力フィルタと違い、モデル自体の応答傾向として組み込まれるため、表現を変えた回避に対しても比較的頑健になる。
第三に、少ない人手で広い範囲に効果が及ぶ。数万件の順位づけデータで訓練した報酬モデルが、その後の膨大な学習ステップにわたって評価役を務める。人間が全ての出力を確認する必要がないため、人手のコストを抑えながら方向づけができる。
RLHFのデメリット・注意点
まず、報酬モデルの抜け穴を突く挙動が起きる。モデルは報酬を最大化するよう最適化されるため、本質的な品質ではなく採点されやすい特徴を学んでしまうことがある。内容が薄くても長く書く、根拠がなくても自信ありげに書く、といった傾向は報酬ハッキングと呼ばれる典型例である。
次に、評価者の偏りがそのまま反映される。何を「良い応答」とするかは文化や立場によって異なり、評価者集団が偏っていれば、その価値観がモデルの振る舞いとして固定化される。誰がどういう基準で評価したのかが、モデルの性格を決めてしまう。
また、工程が複雑で費用がかかる。3段階それぞれにデータ収集と学習が必要で、特に強化学習の段階は複数のモデルを同時に動かすため計算資源を多く消費する。学習が不安定になりやすく、調整に専門知識を要する点も導入の障壁となる。
加えて、過度に安全側へ倒れる副作用がある。危険を避けるよう強く学習させると、無害な質問にまで回答を拒む、当たり障りのない一般論しか述べないといった過剰な慎重さが現れる。有用性と安全性のつり合いをどこで取るかは、いまも調整が難しい論点である。
RLHFの活用例
- 対話型生成AIの調整：指示に従い、文脈に沿って応答する振る舞いを獲得させる
- 有害な出力の抑制：危険な要求や差別的表現への応答傾向を是正する
- 文体・トーンの統一：企業のブランドに合わせた話し方を学習させる
- 要約品質の向上：人手評価で好まれる要約の傾向を反映させる
- コード生成の改善：動作するだけでなく、読みやすく保守しやすいコードを優先させる
- 専門分野への適応：その分野の専門家による評価を通じて、実務に耐える回答へ寄せる
RLHFで使われる報酬モデルの実際
報酬モデルは、元の言語モデルと同じ構造を流用して作られることが多い。最終層だけを差し替え、文章を入力すると1つのスカラー値を返す形に改造する。これにより、言語の理解能力を引き継いだまま評価役に転用できる。
学習には、同じ質問への2つの応答と「どちらが好まれたか」の組を使う。好まれた側の点数が高くなるよう損失関数を設計するため、点数の絶対値そのものに意味はなく、比較したときの大小関係だけが意味を持つ。異なる質問間で点数を比べても妥当性がない点は、運用時に誤解されやすい。
報酬モデルの規模は、調整対象のモデルより小さくても機能する。ただし小さすぎると微妙な品質差を捉えられず、学習が進むにつれて元のモデルに出し抜かれる。対象モデルと同程度か、数分の一の規模を用意するのが一般的な目安とされる。
RLHFとファインチューニングの違い
| 観点 | RLHF | 教師ありファインチューニング |
|---|---|---|
| 学習信号 | 応答の相対的な良し悪し | 正解として示された応答そのもの |
| 必要なデータ | 複数応答の順位づけ | 模範解答の作成 |
| 得意なこと | 言語化しにくい品質・安全性 | 形式や知識の明示的な教え込み |
| 工程の複雑さ | 3段階で複雑 | 1段階で比較的単純 |
| 失敗の形 | 報酬ハッキング | 学習データへの過剰適合 |
両者は対立する手法ではなく、RLHFの第一段階そのものが教師ありファインチューニングである。模範解答を書ける課題にはファインチューニング、良し悪しの判断しかできない課題にはRLHF、と使い分けるのが基本的な考え方になる。
RLHFを扱う際のポイント
評価基準を文書化してから着手することが重要である。何をもって良い応答とするかが評価者間でそろっていなければ、順位づけデータは矛盾を含み、報酬モデルの精度が上がらない。具体例つきの判断基準を用意し、評価者同士の一致度を測る工程を組み込みたい。
報酬モデルを過信しないことも要点となる。学習が進むほどモデルは報酬モデルの癖を突くようになり、点数は上がるのに実際の品質は下がるという現象が起きる。定期的に人間による抜き取り評価を挟み、報酬の数値と体感の乖離を監視する必要がある。
近年は、強化学習を経ずに順位づけデータから直接モデルを更新するDPOのような簡略化手法も広く使われている。工程が1段階減り学習も安定しやすいため、規模の小さい取り組みではこちらが現実的な選択肢になる。
なお、自社で一からRLHFを行う必要がある場面は限られる。すでに調整済みのモデルに対して、プロンプトの工夫や少量のファインチューニングで目的を達成できないかを先に検討したほうが、費用対効果は高い。
まとめ
- RLHFは、人間の良し悪しの判断を報酬に変換してモデルの振る舞いを調整する手法である
- 教師ありファインチューニング、報酬モデルの構築、強化学習による最適化の3段階で進む
- 言語化しにくい品質や安全性を学習させられる点が最大の利点である
- 報酬ハッキング、評価者の偏りの反映、高い計算コストといった課題がある
- 過度に安全側へ倒れると、無害な質問にも答えない過剰な慎重さが現れる
- 近年はDPOのように工程を簡略化した手法も実用化されている