読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第5節 直した結果を確かめる

5.3 結果を残す

評価の結果は、次の項目で残します。

項目例
日付2026-10-24
モデルqwen2.5:3b、bge-m3
変えたことfaq.md を見出しごとに分けた、営業時間の書き方、今日の日付、言い換え(SEARCH_REWRITE=true)
結果19問中16問。検索の失敗0、答え方の失敗3
残した誤りと扱い「受け取りに遅れたら」は店に確かめ中。「水曜日に行っても」はモデルの限界として no_source を受け入れる

「残した誤りと扱い」を書くのは、次に調べる人が、同じ誤りをもう一度調べなくて済むようにするためです。直さないと決めた誤りも、理由とともに残します。

解答例
  1. 言い換えを入れた回と入れない回を、それぞれ何度か回し、16件と15件の差が偶然でないかを確かめる
  2. くだけた言い方の質問を質問集に足し、言い換えが効く質問がどれだけあるかを数える
  3. 1問あたりの時間がどれだけ延びたかを、ログの ms で確かめる
  4. 言い換えで検索が直った質問のうち、答え方の段階で失敗する質問(ドタキャン)がどれだけあるかを見る

そのうえで、時間の延びと、直る質問の数を比べて決めます。

21 / 22