読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第4節 小さいモデルに振り分ける

4.1 仕事の種類で振り分ける

小さいモデルは、ふだん使うモデルより速く、安くなります。答えが短く、決まった形の仕事は、小さいモデルで足りることが多くあります。

def route(task: str) -> str:
    """作業の種類で、モデルの役割を選ぶ。"""
    return model_small() if task in {"classify", "extract"} else model_main()
仕事種類使うモデル
問い合わせの分類classify小さいモデル
注文番号などの抜き出しextract小さいモデル
返信の下書きreplyふだん使うモデル
月の報告reportふだん使うモデル

振り分けの決まりは、1つの関数にまとめておきます。決まりを変えるときに、直す場所が1か所で済みます。

14 / 20