読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
拓海は、事前学習を、穴埋め問題にたとえて説明しました。
文章:ボールペンのインクが切れたら、替え芯を交換します。
練習の問題(説明のための例):
「ボールペンの」の次は? → 正解「インク」
「ボールペンのインクが」の次は? → 正解「切れ」
「ボールペンのインクが切れたら、」の次は? → 正解「替え」
一つの文章から、トークンの数だけ問題が作れます。モデルは、問題ごとに次のトークンの確率を計算し、正解のトークンの確率が低ければ、それが高くなる方向に重みを少しずつ動かします。「AIの仕組み徹底学習 ニューラルネットワーク」で見た、誤差を小さくしていく学習です。
この練習の正解は、文章そのものに含まれています。人が正解を付ける手間がいらないため、インターネットの文章、本、プログラムのコードなど、ばく大な量の文章をそのまま学習に使えます。大規模なモデルでは、学習に使う文章が兆を超えるトークンになるとされています。
モデルの重みの数と、学習に使う文章の量と、計算の量を大きくするほど、続きを当てる力が高まる傾向が知られています。この傾向が、モデルを大きくする理由の一つになっています。
6 / 25