読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
このPC(macOS、メモリ16GB)で、評価の10問を qwen2.5:3b で回すと、合わせて約47秒かかりました。1問あたり数秒です。PCの性能や、ほかに動いている処理によって、もっと遅くなることがあります。
| 備え | この窓口での形 |
|---|---|
| 時間切れ | LLM_TIMEOUT_SECONDS(初期値60秒)を過ぎたら503 |
| LLMが止まっている | 503(llm_unavailable)と、時間をおいて試す案内 |
| 答えられない質問 | LLMを呼ばずに no_source を返す |
| 害の大きい質問 | LLMを呼ばずに handoff を返す |
| 遅くなったことに気づく | ログの ms を見る |
画面の側では、答えを待つ間に「答えを作っています」と表示し、503のときは問い合わせ先を示します。手元のPCのモデルは、一度に多くの質問を処理できません。大勢のお客さんに公開するなら、質問の数の制限や、処理の速い環境を検討します。
21 / 23