読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第2節 生成AIの学習

2.1 事前学習

千尋は、「生成AIは、どうやって文章を書けるようになるのですか」と拓海に聞きました。拓海は、穴埋めの例を見せました。

千尋さんは、文具店で(  )を並べた。
→ 候補:ノート 0.31、ペン 0.24、手帳 0.18、……

大規模言語モデルの最初の段階である事前学習では、インターネット上の文章や書籍など、膨大な量の文章を読ませ、「ある語の次に来る語(トークン)」を予測する練習をくり返します。これを次トークン予測といいます。

正解は文章そのものの中にあるため、人が答えをつける必要はありません。この練習を大量に行うことで、文法、言葉の意味、世の中の知識のパターンを身につけます。学習で調整される重みの数を、パラメータ数といいます。

事前学習を終えたばかりのモデルは、文章の続きを書くのは得意ですが、質問に答える、指示に従うといった使い方には向いていません。

7 / 25