読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第2節 生成AIの学習

2.3 学習データの規模と課題、スケーリング則

大規模言語モデルの性能は、次の3つを大きくするほど、予測できる形で上がることが分かっています。

・モデルの大きさ(パラメータ数)
・学習データの量
・学習に使う計算量

この関係をスケーリング則(Scaling Laws)といいます。また、モデルを大きくしていくと、小さなモデルではできなかった能力(たとえば、段階を踏んだ推論)が急に現れることがあります。これを創発的能力といいます。

一方で、学習データには課題もあります。

課題内容
データの品質誤った情報や古い情報が含まれていると、答えにも影響する
バイアスデータにある偏り(性別や地域に対する偏見など)を学んでしまう
著作権学習に使う文章や画像の権利の扱いが議論になっている
データの不足質のよい文章には限りがあり、今後足りなくなるおそれがある

モデルが学んだ知識は、学習データを集めた時点までに限られます。それ以降の出来事は、追加学習するか、外部の情報を検索して補う必要があります。

解答

正解は2です。1の事前学習は、大量の文章で次トークン予測を学ぶ段階です。3は教師なし学習の方法、4は規模と性能の関係を表す法則です。

9 / 25