読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第4節 会社とモデルを横に並べて記録する

4.1 質問集を動かす

run は、質問集のすべての質問を1つのモデルに送り、採点し、結果をCSVのファイルに書きます。

def run(llm, guide, cases, label, out_csv):
    passed = 0
    with open(out_csv, "w", newline="", encoding="utf-8") as f:
        writer = csv.writer(f)
        writer.writerow(["label", "case", "ok", "reason", "input_tokens", "output_tokens"])
        for case in cases:
            reply = llm.complete(SYSTEM, f"<guide>\n{guide}\n</guide>\n\n{case.question}")
            ok, reason = score(case, reply.text)
            if not reply.complete:
                ok, reason = False, "途中で止まった"
            passed += ok
            writer.writerow([label, case.id, ok, reason, reply.input_tokens, reply.output_tokens])
    return passed

llm には、「LLM使い分け 呼び出しを1か所にまとめる」の共通の窓口を渡します。.env の設定を替えて動かすだけで、同じ質問集で各社のモデルを試せます。

14 / 20