読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第5節 偽のクライアントでテストする

5.2 偽物で何を確かめるか

偽物のテストで確かめるのは、モデルの答えの質ではなく、アプリの動きです。

偽物のテストで確かめる本物のモデルで確かめる
資料と質問が、決めた形で送られるか答えの内容が正しいか
途中で止まった答えを、アプリが使わないか紛れ込んだ指示に従わないか
採点の仕組みが、決めたとおりに付けるか新しいモデルで答えの質が変わらないか
失敗したとき、別のモデルに切り替わるか速さと費用
def test_choose_fallback():
    class Broken:
        def complete(self, *a, **k):
            raise TimeoutError

    main = FakeLLM(default="main")
    assert Fallback(Broken(), main, (TimeoutError,)).complete("s", "u").text == "main"

右の列は、本物のモデルと質問集で確かめます。

解答例

complete が、Reply(text, ..., complete=False) を返す偽物を作ります。その偽物を渡したときに、アプリが答えを表示せず、「途中で止まった」と記録することを確かめます。

19 / 20