読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第4節 自分の仕事用のテストを作る

4.2 くり返し使って、変化を確かめる

質問集は、くり返し使います。次のようなときに、毎回同じ質問集で試します。

  1. 店の資料を更新したとき
  2. 頼む文(指示)を直したとき
  3. 使うモデルを新しいものに変えたとき
  4. 検索の区切り方や件数を変えたとき

拓海は、指示を直す前と後で、質問集の結果を比べました。

質問の種類直す前直した後
よくある質問(10問)10問合格10問合格
条件のある質問(5問)3問合格5問合格
資料にない質問(5問)4問合格2問合格

条件のある質問はよくなりましたが、資料にない質問が悪くなっています。資料にないことまで、条件を補って答えるようになったためでした。一つの直しが、ほかの種類の質問に影響することがあります。種類ごとに結果を分けて見ると、こうした変化に気づけます。

質問集で何度も試しながら指示を直していくと、指示が質問集の問題に合わせすぎた形になることがあります。「AIの仕組み徹底学習 データと学習」で見たテストデータの考え方と同じく、最後の確かめには、調整に使っていない質問も用意しておきます。

解答例
  • よくある質問:「名入れはいくらですか」→ 1本300円
  • 条件のある質問:「セールで買ったペンに名入れできますか」→ セール品には名入れできない
  • 前提がまちがった質問:「名入れは15文字だと何日かかりますか」→ 名入れは10文字までと答える

資料にない質問(「漢字の書体は選べますか」→「店にお問い合わせください」)を加えてもよい。

15 / 20