読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第5節 /ask を仕上げてテストする

5.2 偽の埋め込みでテストする

5節のテストでも、FakeLLM を使います。埋め込みは、隣り合う2文字の組を数えた簡単なベクトルで代用します。

def bigram_vector(text: str, size: int = 256) -> list[float]:
    """隣り合う2文字の組を数えた、簡単なベクトル。同じ言葉が多いほど近くなる。"""
    vector = [0.0] * size
    for a, b in zip(text, text[1:]):
        index = int(hashlib.md5((a + b).encode()).hexdigest(), 16) % size
        vector[index] += 1.0
    return vector

意味は分かりませんが、同じ言葉を含む文章ほど近くなるので、検索の流れを試せます。この簡単なベクトルでは類似度が低めに出るため、テストでは基準を0.2に下げています(tests/conftest.py で SEARCH_MIN_SCORE を設定)。

テスト確かめること
test_answer_with_source答えと出典が返り、プロンプトに「【資料:営業時間と定休日】」が入る
test_not_found_phrase_becomes_no_source「資料にありません」なら no_source
test_no_hit_does_not_call_chat近い区切りがなければ、LLMの chat を呼ばない
test_bad_question_is_422空・空白だけ・201文字の質問は422
test_llm_down_is_503LLMが止まると503

practice/vol2 で python -m pytest を実行すると、紹介文の下書きのテストと合わせて15件が通ります。

解答例

答えに決まった言葉「資料にありません」が含まれないため、answered を返します。推測の答えを、資料にもとづく答えとして返してしまうので、望ましくありません。4節の「決まった言葉の判定の限界」が実際に起きる例です。どれだけ起きるかを評価で確かめ、必要なら判定の言葉を増やします。

19 / 20