Aa
読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
閉じる
第2節 生成AIの学習
第2節のまとめ
事前学習では、大量の文章で次トークン予測をくり返し、言葉の知識の土台を作る
ファインチューニング(指示チューニング、ドメイン適応)で、目的や分野に合わせる
RLHFでは、人の評価から作った報酬モデルを使い、強化学習で答えを調整する
スケーリング則:モデルの大きさ・データ量・計算量を増やすと性能が上がる。大きくすると創発的能力が現れることがある
学習データには、品質・バイアス・著作権・不足の課題がある
10 / 25
10 / 25