読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第2節 大量の文章で学ぶ(事前学習)

2.2 事前学習で身につくこと・身につかないこと

続きを当てるには、文法、言葉の意味、よく知られた事実、文章の組み立て方などを、重みの中に取り込む必要があります。続きを当てる練習をくり返すうちに、モデルはこれらを身につけていきます。

身につきやすいこと理由
文法と自然な言い回しどの文章にも出てくる
多くの文章に書かれている事実(日本の首都など)何度も同じ内容を見る
文章の型(お知らせ、手紙、説明書)同じ型の文章がたくさんある
翻訳や要約のやり方対訳や要約の例が文章の中にある
身につきにくいこと理由
学習の後に起きたできごと学習に使った文章には含まれていない
小さな店や地域の情報(ふみの木文具の定休日など)文章にほとんど書かれていない
まれにしか書かれない細かな事実何度も見ないため、重みに残りにくい
社外に出ていない情報(店の売上など)学習に使った文章に含まれていない

学習に使う文章を集めた時点より後のことを、モデルは知りません。この時点を、知識の締め切りと呼ぶことがあります。

解答

1と3です。どちらも多くの文章に書かれている内容です。2は社外に出ていない情報、4は知識の締め切りより後のできごとなので、事前学習だけでは答えられません。それでも、モデルはもっともらしい答えを作ることがあります。この点は第4節で扱います。

7 / 25