読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第2節 生成AIの学習

2.2 ファインチューニングとRLHF

事前学習したモデルを、目的に合わせて追加で学習させるのがファインチューニングです。

段階内容例
教師ありファインチューニング(指示チューニング)「指示」と「よい答え」の組を大量に学ばせる「この文を短くして」→ 短くした文
ドメイン適応特定の分野の文章で追加学習する医療や法律の文章
RLHF(人間のフィードバックによる強化学習)人がよいと評価した答えに近づくよう調整する丁寧で、役に立ち、害のない答え

RLHFは、次の流れで行います。

  1. モデルに同じ質問への答えを複数作らせる
  2. 人が、どの答えがよいかを順位づけする
  3. 順位づけのデータから、答えのよさを点数にする報酬モデルを作る
  4. 報酬モデルの点数が高くなるよう、強化学習でモデルを調整する

8 / 25