読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第4節 評価の質問集

4.2 判定が甘いと、誤りを見逃す

最初の質問集では、水曜日の質問の expect_words を ["水曜"] にしていました。qwen2.5:1.5b で試すと、次の答えが「OK」になりました。

水曜日は営業していますか | answered | はい、水曜日は営業しています。

水曜日は定休日なので、この答えは誤りです。答えに「水曜」が含まれていたため、判定を通ってしまいました。質問の言葉は、答えに繰り返されやすく、判定の言葉には向きません。判定の言葉を、正しい答えにしか出てこない「定休」に直しました。

同じように、クレジットカードの質問の期待を ["現金"] にしていたところ、qwen2.5:3b の「クレジットカードは使えません。」が「NG」になりました。答えは正しいので、期待のほうを ["使えません"] に直しました。評価の結果が「NG」のときは、答えと期待の両方を読み、どちらが間違っているかを確かめます。

16 / 23