読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
続きを当てるには、文法、言葉の意味、よく知られた事実、文章の組み立て方などを、重みの中に取り込む必要があります。続きを当てる練習をくり返すうちに、モデルはこれらを身につけていきます。
| 身につきやすいこと | 理由 |
|---|---|
| 文法と自然な言い回し | どの文章にも出てくる |
| 多くの文章に書かれている事実(日本の首都など) | 何度も同じ内容を見る |
| 文章の型(お知らせ、手紙、説明書) | 同じ型の文章がたくさんある |
| 翻訳や要約のやり方 | 対訳や要約の例が文章の中にある |
| 身につきにくいこと | 理由 |
|---|---|
| 学習の後に起きたできごと | 学習に使った文章には含まれていない |
| 小さな店や地域の情報(ふみの木文具の定休日など) | 文章にほとんど書かれていない |
| まれにしか書かれない細かな事実 | 何度も見ないため、重みに残りにくい |
| 社外に出ていない情報(店の売上など) | 学習に使った文章に含まれていない |
学習に使う文章を集めた時点より後のことを、モデルは知りません。この時点を、知識の締め切りと呼ぶことがあります。
1と3です。どちらも多くの文章に書かれている内容です。2は社外に出ていない情報、4は知識の締め切りより後のできごとなので、事前学習だけでは答えられません。それでも、モデルはもっともらしい答えを作ることがあります。この点は第4節で扱います。
7 / 25