読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
質問集は、evals/questions.jsonl に、1行に1問ずつJSONで書きます。
{"question": "水曜日は営業していますか", "expect_status": "answered", "expect_source": "shop_guide.md#1", "expect_words": ["定休"]}
{"question": "卵が入っていないパンはありますか", "expect_status": "handoff", "expect_source": null, "expect_words": []}
{"question": "おすすめのジャムを教えて", "expect_status": "no_source", "expect_source": null, "expect_words": []}
| 項目 | 意味 |
|---|---|
expect_status | 期待する状態 |
expect_source | 出典に含まれるべき区切りのID(ないときは null) |
expect_words | 答えに含まれるべき言葉 |
資料に答えがある質問だけでなく、店員につなぐ質問と、資料に答えがない質問も入れます。答えないことが正しい場合も、確かめる必要があるからです。
run_eval.py は、質問を1つずつ /ask に送り、期待と比べて表示します。テストと違い、本物のOllamaとDBを使います。
python run_eval.py
15 / 23