読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
千尋は、「生成AIは、どうやって文章を書けるようになるのですか」と拓海に聞きました。拓海は、穴埋めの例を見せました。
千尋さんは、文具店で( )を並べた。
→ 候補:ノート 0.31、ペン 0.24、手帳 0.18、……
大規模言語モデルの最初の段階である事前学習では、インターネット上の文章や書籍など、膨大な量の文章を読ませ、「ある語の次に来る語(トークン)」を予測する練習をくり返します。これを次トークン予測といいます。
正解は文章そのものの中にあるため、人が答えをつける必要はありません。この練習を大量に行うことで、文法、言葉の意味、世の中の知識のパターンを身につけます。学習で調整される重みの数を、パラメータ数といいます。
事前学習を終えたばかりのモデルは、文章の続きを書くのは得意ですが、質問に答える、指示に従うといった使い方には向いていません。
7 / 25