読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
最初の質問集では、水曜日の質問の expect_words を ["水曜"] にしていました。qwen2.5:1.5b で試すと、次の答えが「OK」になりました。
水曜日は営業していますか | answered | はい、水曜日は営業しています。
水曜日は定休日なので、この答えは誤りです。答えに「水曜」が含まれていたため、判定を通ってしまいました。質問の言葉は、答えに繰り返されやすく、判定の言葉には向きません。判定の言葉を、正しい答えにしか出てこない「定休」に直しました。
同じように、クレジットカードの質問の期待を ["現金"] にしていたところ、qwen2.5:3b の「クレジットカードは使えません。」が「NG」になりました。答えは正しいので、期待のほうを ["使えません"] に直しました。評価の結果が「NG」のときは、答えと期待の両方を読み、どちらが間違っているかを確かめます。
16 / 23