読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第5節 導入の計画を書く

5.2 見直しで問い直すこと

見直しのときは、次の問いに答えます。

  1. 評価の質問集の結果は、前回と比べて落ちていないか
  2. 新しいモデルで、もっと簡単な方法(たとえばRAGをやめて全部渡す)で足りるようにならないか
  3. 各社の提供状況(コンテキストの長さ、キャッシュ、ファインチューニング)は変わっていないか
  4. 資料の量や件数は、計画のときから大きく変わっていないか

2つ目の問いが大切です。LLMの性能と提供状況は、毎年のように変わります。去年は必要だった仕組みが、いまは要らなくなっていることがあります。

解答例

「費用の見込み」と「評価」を見直します。RAGの保存と検索の費用を計算し直し、過去の回答の質問集で、検索の当たりが落ちていないかを測ります。落ちていれば、区切り方や、言葉の一致の検索との組み合わせを見直します。

19 / 20