読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第4節 もっともらしい誤りが起きる理由

4.2 誤りが起きやすい場面と減らし方

もっともらしい誤りは、次のような場面で起きやすくなります。

場面例起きる理由
学習した文章にない、または少ない店の創業年、地域の小さなできごと正しい答えの確率が高くならない
知識の締め切りより後先週変わった商品の値段学習した文章に含まれていない
細かな数字や出典本のページ番号、記事のURL形だけをまねた、ありそうな数や文字列を作れる
まちがった前提を含む質問「2020年に閉店したふみの木文具の跡地は」前提を正すより、質問の続きに答える文が選ばれやすい

減らす方法は、答えの材料をモデルの外から渡すことです。

  1. 正しい情報を、頼む文に含める(店の資料、価格表を貼る)
  2. 検索や店の資料を探す仕組みと組み合わせ、見つけた資料をもとに答えさせる
  3. 答えの根拠を、資料のどこに書いてあるかとともに示させる
  4. 「資料に書いていないことは『分からない』と答えてください」と頼む

4は誤りを減らす効果がありますが、なくすことはできません。2の仕組みは「AIの仕組み徹底学習 RAGとAIエージェント」で扱います。最後の確かめは、元の資料と照らし合わせて人が行います。

解答
  1. 細かな数字や出典(形だけをまねた雑誌名やページ番号を作った)
  2. まちがった前提を含む質問(「売上が落ちた」という前提を正さず、続きの答えを書いた)
  3. 知識の締め切りより後(変わる前の料金しか学習していない)

15 / 25