読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
5節のテストでも、FakeLLM を使います。埋め込みは、隣り合う2文字の組を数えた簡単なベクトルで代用します。
def bigram_vector(text: str, size: int = 256) -> list[float]:
"""隣り合う2文字の組を数えた、簡単なベクトル。同じ言葉が多いほど近くなる。"""
vector = [0.0] * size
for a, b in zip(text, text[1:]):
index = int(hashlib.md5((a + b).encode()).hexdigest(), 16) % size
vector[index] += 1.0
return vector
意味は分かりませんが、同じ言葉を含む文章ほど近くなるので、検索の流れを試せます。この簡単なベクトルでは類似度が低めに出るため、テストでは基準を0.2に下げています(tests/conftest.py で SEARCH_MIN_SCORE を設定)。
| テスト | 確かめること |
|---|---|
test_answer_with_source | 答えと出典が返り、プロンプトに「【資料:営業時間と定休日】」が入る |
test_not_found_phrase_becomes_no_source | 「資料にありません」なら no_source |
test_no_hit_does_not_call_chat | 近い区切りがなければ、LLMの chat を呼ばない |
test_bad_question_is_422 | 空・空白だけ・201文字の質問は422 |
test_llm_down_is_503 | LLMが止まると503 |
practice/vol2 で python -m pytest を実行すると、紹介文の下書きのテストと合わせて15件が通ります。
答えに決まった言葉「資料にありません」が含まれないため、answered を返します。推測の答えを、資料にもとづく答えとして返してしまうので、望ましくありません。4節の「決まった言葉の判定の限界」が実際に起きる例です。どれだけ起きるかを評価で確かめ、必要なら判定の言葉を増やします。
19 / 20