読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第5節 切り替えで答えの質が変わる問題

5.2 切り替え先も質問集で確かめる

蓮は、切り替え先のモデルも、ふだんのモデルと同じ質問集で、同じ時期に確かめることにしました。

for label, llm in [("primary", primary), ("secondary", secondary)]:
    passed = run(llm, guide, cases, label, f"results-{label}.csv")
    print(label, passed, "/", len(cases))
確かめる時期確かめるモデル
月の見直しふだんのモデルと、切り替え先のモデル
切り替え先を替えたとき新しい切り替え先のモデル
システムプロンプトを直したとき両方

切り替え先が質問集で落ちる質問があれば、システムプロンプトを両方のモデルで守られる形に直すか、切り替え先を替えます。

解答例
  1. 新しい切り替え先のモデルで、質問集を動かし、ふだんのモデルと比べる。
  2. 切り替え先の会社のデータの扱いが、店の決まりに合っているかを確かめる。

19 / 20