読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第4節 評価の質問集

4.1 質問集と、試すプログラム

質問集は、evals/questions.jsonl に、1行に1問ずつJSONで書きます。

{"question": "水曜日は営業していますか", "expect_status": "answered", "expect_source": "shop_guide.md#1", "expect_words": ["定休"]}
{"question": "卵が入っていないパンはありますか", "expect_status": "handoff", "expect_source": null, "expect_words": []}
{"question": "おすすめのジャムを教えて", "expect_status": "no_source", "expect_source": null, "expect_words": []}
項目意味
expect_status期待する状態
expect_source出典に含まれるべき区切りのID(ないときは null)
expect_words答えに含まれるべき言葉

資料に答えがある質問だけでなく、店員につなぐ質問と、資料に答えがない質問も入れます。答えないことが正しい場合も、確かめる必要があるからです。

run_eval.py は、質問を1つずつ /ask に送り、期待と比べて表示します。テストと違い、本物のOllamaとDBを使います。

python run_eval.py

15 / 23