読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
みどり茶園のアプリには、分類・抜き出し・返信の下書き・月の報告の4つの作業があります。答えが短く決まった形の作業は、小さいモデルで足ります。
練習のフォルダの midori/resilience.py では、振り分けの決まりを1つの関数に書いています。
SMALL_TASKS = {"classify", "extract"}
def choose(task: str, small: LLM, main: LLM) -> LLM:
return small if task in SMALL_TASKS else main
| 作業 | 種類 | 振り分け先 |
|---|---|---|
| 問い合わせの分類 | classify | 小さいモデル |
| 注文番号の抜き出し | extract | 小さいモデル |
| 返信の下書き | reply | ふだん使うモデル |
| 月の報告 | report | ふだん使うモデル |
small と main には、共通の窓口のアダプターを渡します。小さいモデルとふだん使うモデルが、別の会社のモデルでもかまいません。
2 / 20