読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第5節 公開前の確認と運用

5.2 遅さと失敗への備え

このPC(macOS、メモリ16GB)で、評価の10問を qwen2.5:3b で回すと、合わせて約47秒かかりました。1問あたり数秒です。PCの性能や、ほかに動いている処理によって、もっと遅くなることがあります。

備えこの窓口での形
時間切れLLM_TIMEOUT_SECONDS(初期値60秒)を過ぎたら503
LLMが止まっている503(llm_unavailable)と、時間をおいて試す案内
答えられない質問LLMを呼ばずに no_source を返す
害の大きい質問LLMを呼ばずに handoff を返す
遅くなったことに気づくログの ms を見る

画面の側では、答えを待つ間に「答えを作っています」と表示し、503のときは問い合わせ先を示します。手元のPCのモデルは、一度に多くの質問を処理できません。大勢のお客さんに公開するなら、質問の数の制限や、処理の速い環境を検討します。

21 / 23