1.2 公平さを確かめる
公平さを確かめるには、グループごとに結果を分けて比べます。千尋の店では、次の点を確かめることにしました。
- 判断の結果(割引券を送った割合)を、グループごとに比べる
- 判断の正しさ(送った人が実際に来店した割合)を、グループごとに比べる
- 差があれば、その差に理由があるかを、人が考える
- 理由のない差は、データを足す、判断の決まりを変える、人が判断するなどで直す
年代の列を学習データから外しても、偏りが残ることがあります。住所や、ホームページの利用の有無のように、年代と結びつきやすい手がかりがあれば、モデルはそこから同じ偏りを学びます。
何を公平とするかにも、いくつかの考え方があります。「どの年代にも同じ割合で送る」ことと、「来店しそうな人に送る」ことは、両立しないことがあります。どちらを重く見るかは、モデルではなく、店の方針として人が決めます。
解答
- 40代まで:110÷300で約37%、50代〜60代:70÷200=35%、70代以上:35÷100=35%
- 70代以上の送った割合が5%から35%に上がり、年代による差がほとんどなくなった。記録の偏り(紙の割引券の利用が入っていなかったこと)を直したことで、年配の会員を不利に扱う判断が減った。