読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
大規模言語モデルの性能は、次の3つを大きくするほど、予測できる形で上がることが分かっています。
・モデルの大きさ(パラメータ数)
・学習データの量
・学習に使う計算量
この関係をスケーリング則(Scaling Laws)といいます。また、モデルを大きくしていくと、小さなモデルではできなかった能力(たとえば、段階を踏んだ推論)が急に現れることがあります。これを創発的能力といいます。
一方で、学習データには課題もあります。
| 課題 | 内容 |
|---|---|
| データの品質 | 誤った情報や古い情報が含まれていると、答えにも影響する |
| バイアス | データにある偏り(性別や地域に対する偏見など)を学んでしまう |
| 著作権 | 学習に使う文章や画像の権利の扱いが議論になっている |
| データの不足 | 質のよい文章には限りがあり、今後足りなくなるおそれがある |
モデルが学んだ知識は、学習データを集めた時点までに限られます。それ以降の出来事は、追加学習するか、外部の情報を検索して補う必要があります。
正解は2です。1の事前学習は、大量の文章で次トークン予測を学ぶ段階です。3は教師なし学習の方法、4は規模と性能の関係を表す法則です。
9 / 25