読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第1節 次の言葉を予測して文を作る

1.2 会話も一続きの文章

生成AIとの会話は、やりとりが分かれているように見えます。モデルの側から見ると、会話は一続きの文章です。

[サービスからの指示]あなたは丁寧に答えるアシスタントです。
[利用者]店のお知らせを書いてください。雨で閉店を早めます。
[AI]本日は雨のため、閉店時間を18時に早めます。
[利用者]閉店は17時にしてください。
[AI]

利用者が新しく書き込むたびに、モデルはそれまでの会話全体を最初から読み、最後の「[AI]」の続きを予測します。会話を覚えているように見えるのは、毎回、会話の全体を読み直しているためです。いちばん上の行のように、サービスを提供する会社が、利用者に見えない指示を会話の最初に置いていることもあります。

モデルが一度に読めるトークンの数には上限があります。会話が長くなって上限を超えると、サービスによっては、古いやりとりを省いたり、短くまとめたりして読ませます。そのため、長い会話では、最初のころに伝えた条件が答えに反映されにくくなることがあります。

解答例
  1. 会話が長くなり、モデルが一度に読めるトークンの数の上限に近づいたため、最初の条件が省かれたり、まとめられたりして、答えに反映されにくくなった。
  2. 大事な条件は、頼むたびに書き添える。または、話題が変わったら新しい会話を始め、条件を最初に書き直す。

3 / 25