読み方のヒント

矢印ボタン(または ← → キー)でページを移動できます。

第1節 正解率だけでは分からないこと

1.1 95%当たっても役に立たないモデル

この章には、商店街の文具店で働く千尋(ちひろ)と、店のホームページの更新を手伝う大学生の拓海(たくみ)が出てきます。千尋は仕事で生成AIを使っていて、拓海は大学でAIの仕組みを学んでいます。

拓海は、お客さんの声から苦情を見つけるモデルを2つ作り、100件のテストデータで試しました。100件のうち、苦情は5件だけです。

モデル判断のしかた当たった件数正解率
Pどんな声でも「それ以外」と答える95件(苦情でない95件がすべて当たり)95%
Q声を読んで判断する90件90%

正解率は、Pのほうが高くなります。しかし、Pは苦情を1件も見つけていません。苦情を見つけるためのモデルとしては、まったく役に立ちません。

正解率は、全体のうち当たった割合です。苦情のように、見つけたいものが全体の中で少ないときは、「いつも多いほうと答える」だけで正解率が高くなります。正解率だけでは、見つけたいものをどれだけ見つけられたかが分かりません。

2 / 20