読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
蓮は、切り替え先のモデルも、ふだんのモデルと同じ質問集で、同じ時期に確かめることにしました。
for label, llm in [("primary", primary), ("secondary", secondary)]:
passed = run(llm, guide, cases, label, f"results-{label}.csv")
print(label, passed, "/", len(cases))
| 確かめる時期 | 確かめるモデル |
|---|---|
| 月の見直し | ふだんのモデルと、切り替え先のモデル |
| 切り替え先を替えたとき | 新しい切り替え先のモデル |
| システムプロンプトを直したとき | 両方 |
切り替え先が質問集で落ちる質問があれば、システムプロンプトを両方のモデルで守られる形に直すか、切り替え先を替えます。
19 / 20