読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
偽物のテストで確かめるのは、モデルの答えの質ではなく、アプリの動きです。
| 偽物のテストで確かめる | 本物のモデルで確かめる |
|---|---|
| 資料と質問が、決めた形で送られるか | 答えの内容が正しいか |
| 途中で止まった答えを、アプリが使わないか | 紛れ込んだ指示に従わないか |
| 採点の仕組みが、決めたとおりに付けるか | 新しいモデルで答えの質が変わらないか |
| 失敗したとき、別のモデルに切り替わるか | 速さと費用 |
def test_choose_fallback():
class Broken:
def complete(self, *a, **k):
raise TimeoutError
main = FakeLLM(default="main")
assert Fallback(Broken(), main, (TimeoutError,)).complete("s", "u").text == "main"
右の列は、本物のモデルと質問集で確かめます。
complete が、Reply(text, ..., complete=False) を返す偽物を作ります。その偽物を渡したときに、アプリが答えを表示せず、「途中で止まった」と記録することを確かめます。
19 / 20