読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第2節 生成AIの学習

第2節のまとめ

  • 事前学習では、大量の文章で次トークン予測をくり返し、言葉の知識の土台を作る
  • ファインチューニング(指示チューニング、ドメイン適応)で、目的や分野に合わせる
  • RLHFでは、人の評価から作った報酬モデルを使い、強化学習で答えを調整する
  • スケーリング則:モデルの大きさ・データ量・計算量を増やすと性能が上がる。大きくすると創発的能力が現れることがある
  • 学習データには、品質・バイアス・著作権・不足の課題がある

10 / 25