AIエージェントを作る：FastAPIとLLMで道具を使わせる · 5冊目AI

AIエージェント評価と失敗への備え

エージェントの評価の質問集を作り、種類・呼んだ道具・呼んではいけない道具・下書きの数まで採点します。LLMの停止・時間切れ・道具の失敗・上限の扱い、やり直してよい処理といけない処理、公開前の確認表を学びます。

上級1時間5分22ページ

本文の冒頭

この章では、 /agent の評価の質問集を作ります。 /ask の評価は答えと出典を見ましたが、エージェントでは、どの種類に分けたか、どの道具を呼んだか、呼んではいけない道具を呼ばなかったか、予約の下書きがいくつできたかも確かめます。