読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
run は、質問集のすべての質問を1つのモデルに送り、採点し、結果をCSVのファイルに書きます。
def run(llm, guide, cases, label, out_csv):
passed = 0
with open(out_csv, "w", newline="", encoding="utf-8") as f:
writer = csv.writer(f)
writer.writerow(["label", "case", "ok", "reason", "input_tokens", "output_tokens"])
for case in cases:
reply = llm.complete(SYSTEM, f"<guide>\n{guide}\n</guide>\n\n{case.question}")
ok, reason = score(case, reply.text)
if not reply.complete:
ok, reason = False, "途中で止まった"
passed += ok
writer.writerow([label, case.id, ok, reason, reply.input_tokens, reply.output_tokens])
return passed
llm には、「LLM使い分け 呼び出しを1か所にまとめる」の共通の窓口を渡します。.env の設定を替えて動かすだけで、同じ質問集で各社のモデルを試せます。
14 / 20