読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第4節 ハルシネーションと生成の設定

4.3 コンテキストウィンドウ

コンテキストウィンドウは、生成AIが一度に扱える情報の量(トークン数)の上限です。入力した文章、それまでの会話、AIが書く答えの合計が、この上限に収まる必要があります。

長い会話の例
  1回目:店の基本情報を伝える
  ……(長いやりとりが続く)……
  30回目:「最初に伝えた定休日をもとに、お知らせを書いて」
→ 上限を超えると、最初の情報が考慮されないことがある

コンテキストウィンドウが大きいモデルほど、長い資料をまとめて読ませたり、長い会話を続けたりできます。ただし、上限内であっても、長い入力の途中にある情報を見落とすことがあります。

長い会話では、大事な条件を最後にもう一度書く、資料を分けて渡すといった工夫が役立ちます。

解答

正解は2です。1はTemperatureを小さくしたときの説明です。3のハルシネーションは、設定だけではなくせません。4のTop-pは、小さくすると候補が減り、答えが安定します。

19 / 25