読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第5節 偽のクライアントでテストする

5.1 FakeLLM

FakeLLM は、質問の中の言葉に応じて、決めておいた答えを返します。共通の窓口 LLM の決まりを満たすため、アプリの側は、本物と区別せずに使えます。

class FakeLLM:
    def __init__(self, answers=None, default="店に確認します。"):
        self.answers, self.default, self.calls = answers or {}, default, []

    def complete(self, system, user, max_tokens=800):
        self.calls.append(user)
        question = user.split("</guide>")[-1]  # 資料の部分ではなく、質問の部分で答えを選ぶ
        for key, text in self.answers.items():
            if key in question:
                return Reply(text, len(user), len(text), "fake", "fake")
        return Reply(self.default, len(user), len(self.default), "fake", "fake")

calls には、受け取った質問が残ります。テストでは、アプリが、どんな文をモデルに送ったかも確かめられます。

最初に書いたときは、資料も含めた文の全体で言葉を探していました。案内に「カフェイン」の文字があるため、どの質問にもカフェインの答えを返してしまい、テストが通りませんでした。質問の部分だけで探すよう直しています。

18 / 20