読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第4節 資料を渡して答えさせる

4.2 出典をモデルに選ばせない

最初は、答えと、使った資料の番号を、JSONで同時に返させる設計にしました。

{"answer": "答えの文", "source_ids": ["1"]}

qwen2.5:1.5b と qwen2.5:3b で試すと、次のような答えが返りました。

質問返ってきたJSON
水曜日は営業していますか(1.5b){"answer": "いいえ", "source_ids": []}
1回に何個まで予約できますか(1.5b){"answer": "合計10個までです", "source_ids": []}
予約は何時までにすればいいですか(3b)answer が「source_ids: [1]」という文字になった

答えは合っているのに番号が空だったり、答えの欄に番号を書いたりしました。小さいモデルに、答えを作る仕事と、番号を記録する仕事を同時にさせると、形が崩れやすくなります。

そこで、次のように役割を分けました。

仕事だれが行うか
答えの文章を作るLLM(ふつうの文章で返す)
答えがないことを知らせるLLM(決まった言葉「資料にありません」)
出典を決めるアプリ(検索で選んで渡した区切りを、そのまま出典にする)

アプリが確実にできることは、LLMに任せません。出典は「答えのもとにした資料の候補」として、渡した区切りをすべて返します。

解答例

存在しないIDや、予約できないp006を返すおそれがあります。LLMには商品名を含む文章だけを作らせ、IDはアプリが商品の表と照らし合わせて決めるか、返したIDが表にあるかをアプリで必ず確かめます。

15 / 20