5.2 見直しで問い直すこと
見直しのときは、次の問いに答えます。
- 評価の質問集の結果は、前回と比べて落ちていないか
- 新しいモデルで、もっと簡単な方法(たとえばRAGをやめて全部渡す)で足りるようにならないか
- 各社の提供状況(コンテキストの長さ、キャッシュ、ファインチューニング)は変わっていないか
- 資料の量や件数は、計画のときから大きく変わっていないか
2つ目の問いが大切です。LLMの性能と提供状況は、毎年のように変わります。去年は必要だった仕組みが、いまは要らなくなっていることがあります。
解答例
「費用の見込み」と「評価」を見直します。RAGの保存と検索の費用を計算し直し、過去の回答の質問集で、検索の当たりが落ちていないかを測ります。落ちていれば、区切り方や、言葉の一致の検索との組み合わせを見直します。