読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第1節 作業の種類でモデルを振り分ける

1.1 振り分けの決まりを1か所に書く

みどり茶園のアプリには、分類・抜き出し・返信の下書き・月の報告の4つの作業があります。答えが短く決まった形の作業は、小さいモデルで足ります。

練習のフォルダの midori/resilience.py では、振り分けの決まりを1つの関数に書いています。

SMALL_TASKS = {"classify", "extract"}


def choose(task: str, small: LLM, main: LLM) -> LLM:
    return small if task in SMALL_TASKS else main
作業種類振り分け先
問い合わせの分類classify小さいモデル
注文番号の抜き出しextract小さいモデル
返信の下書きreplyふだん使うモデル
月の報告reportふだん使うモデル

small と main には、共通の窓口のアダプターを渡します。小さいモデルとふだん使うモデルが、別の会社のモデルでもかまいません。

2 / 20