読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第5節 評価の結果を判断に使う

5.2 使い始めたあとも測る

評価は、使い始めたあとも続けます。次の理由で、答えの出来が変わることがあります。

変わる理由例
質問の中身が変わる新学期には、学校指定の文具の質問が急に増える
資料が古くなる値段や営業時間が変わったのに、資料を直していない
サービス側でモデルが変わる使っている生成AIのサービスが、モデルを新しくした

拓海は、使い始めたあとの決まりを作りました。

質問窓口の見直しの決まり
・毎週、実際の質問と答えから10件を抜き出し、人が評価する
・お客さんから「答えが違った」と連絡があったものは、すべて記録する
・記録した誤りは、評価用の質問集に加える
・答えてはいけない質問に1件でも答えていたら、窓口を止めて原因を調べる
・資料を更新したときと、サービスのモデルが変わったときは、質問集で試す

実際に起きた誤りを質問集に加えていくと、質問集は、店に合ったものになっていきます。

解答例
  1. 資料の段階:名入れの日数が5日だったころの古い資料が残っていて、検索で選ばれている。
  2. 判断してはいけない。10件を抜き出しただけなので、名入れの質問がたまたま含まれていなかった可能性がある。資料を確かめて古い版を除いたうえで、名入れの質問を評価用の質問集に加えて試し、合格することを確かめる。

19 / 20