4.2 原因を一つずつ確かめる手順
誤った答えが見つかったら、次の手順で原因を確かめます。
- 正しい答えと、その根拠が書かれた資料の場所を確かめる。資料になければ「資料」の段階の問題
- 記録を見て、検索で根拠の資料が選ばれていたかを確かめる。選ばれていなければ「検索」の段階の問題
- 根拠が選ばれていたのに答えが違えば、「読み取り」の段階の問題。頼む文の指示を見直す
- 道具を使っていれば、呼び出しの内容と結果を確かめる。食い違いがあれば「道具」の段階の問題
- どこにも問題がなければ、質問の受け取り方を確かめる
千尋は、「セールで買ったノートを返品できますか」に「7日以内なら返品できます」と答えた例を、この手順で調べました。根拠は「セール品は返品できません」の一文で、資料には書かれていました(1)。記録を見ると、検索で選ばれたのは「7日以内、未開封に限ります」の部分だけでした(2)。原因は検索の段階にあると分かり、資料の区切り方を直しました。
直したあとは、同じ質問をもう一度試すだけでなく、似た質問をいくつも試して、ほかの答えが悪くなっていないかを確かめます。答えを確かめる質問の集め方は、「AIの仕組み徹底学習 AIの評価」で扱います。
解答
- 読み取り(根拠は渡されていたが、モデルが読み違えた)
- 道具(道具の使い方を誤った)
- 資料(正しい答えが資料に書かれていない)