読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第2節 大量の文章で学ぶ(事前学習)

2.1 続きを当てる練習をくり返す

拓海は、事前学習を、穴埋め問題にたとえて説明しました。

文章:ボールペンのインクが切れたら、替え芯を交換します。

練習の問題(説明のための例):
  「ボールペンの」の次は? → 正解「インク」
  「ボールペンのインクが」の次は? → 正解「切れ」
  「ボールペンのインクが切れたら、」の次は? → 正解「替え」

一つの文章から、トークンの数だけ問題が作れます。モデルは、問題ごとに次のトークンの確率を計算し、正解のトークンの確率が低ければ、それが高くなる方向に重みを少しずつ動かします。「AIの仕組み徹底学習 ニューラルネットワーク」で見た、誤差を小さくしていく学習です。

この練習の正解は、文章そのものに含まれています。人が正解を付ける手間がいらないため、インターネットの文章、本、プログラムのコードなど、ばく大な量の文章をそのまま学習に使えます。大規模なモデルでは、学習に使う文章が兆を超えるトークンになるとされています。

モデルの重みの数と、学習に使う文章の量と、計算の量を大きくするほど、続きを当てる力が高まる傾向が知られています。この傾向が、モデルを大きくする理由の一つになっています。

6 / 25