読み方のヒント
矢印ボタン(または ← → キー)でページを移動できます。
最初は、答えと、使った資料の番号を、JSONで同時に返させる設計にしました。
{"answer": "答えの文", "source_ids": ["1"]}
qwen2.5:1.5b と qwen2.5:3b で試すと、次のような答えが返りました。
| 質問 | 返ってきたJSON |
|---|---|
| 水曜日は営業していますか(1.5b) | {"answer": "いいえ", "source_ids": []} |
| 1回に何個まで予約できますか(1.5b) | {"answer": "合計10個までです", "source_ids": []} |
| 予約は何時までにすればいいですか(3b) | answer が「source_ids: [1]」という文字になった |
答えは合っているのに番号が空だったり、答えの欄に番号を書いたりしました。小さいモデルに、答えを作る仕事と、番号を記録する仕事を同時にさせると、形が崩れやすくなります。
そこで、次のように役割を分けました。
| 仕事 | だれが行うか |
|---|---|
| 答えの文章を作る | LLM(ふつうの文章で返す) |
| 答えがないことを知らせる | LLM(決まった言葉「資料にありません」) |
| 出典を決める | アプリ(検索で選んで渡した区切りを、そのまま出典にする) |
アプリが確実にできることは、LLMに任せません。出典は「答えのもとにした資料の候補」として、渡した区切りをすべて返します。
存在しないIDや、予約できないp006を返すおそれがあります。LLMには商品名を含む文章だけを作らせ、IDはアプリが商品の表と照らし合わせて決めるか、返したIDが表にあるかをアプリで必ず確かめます。
15 / 20