効果検証入門を読んだ感想

結構前に読んだ本ですが、効果検証入門を読んで学んだ内容を実務経験も踏まえて書いていこうと思います。

マーケティング分野のデータ分析ではよくある「クーポンを配布したユーザーと配布していないユーザーの売上の差について分析したい」という場合に問題になってくるのがセレクションバイアスです。

極端な例で言うとリピーターにクーポンを配布し新規ユーザーにはクーポンを配布しなかった場合、「クーポンを配布したことによる売り上げ増加」と「リピーターと新規ユーザーの売上の差」を区別できなくなってしまいます・

このときの「リピーターと新規ユーザーの売上の差」つまりグループの分け方による差をセレクションバイアスと言います。

セレクションバイアスがある状態で効果検証をしてしまうと、「効果がないものを効果がある」「効果があるものを効果がない」と結論づけてしまう可能性があります。

上記の例のようにわかりやすい例ならいいですが、実務ではわかりにくいパターンも多いです。そのためグループ別に分析する場合は、まず初めにグループの分け方について注意するようにしています。

理想的なグループ分けの方法としてRCT(Randomized Controlled Trial)があります。

RCTとは処置をする人としない人を完全にランダムで選ぶ検証方法のことです。

セレクションバイアスはグループを何らかの法則によって決めることで発生するものなので、グループをランダムに決定すればセレクションバイアスがなくなり、純粋にグループの差を分析することができます。

データ分析の仕事をしているとクライアントから「仮説検定をしてほしい」というような相談がたまにきます。

その場合にも問題になってくるのがセレクションバイアスです。そもそも分析対象にセレクションバイアスが存在すると、仮説検定をしても誤った結果が出てしまいます。

(そもそも仮説検定は他にも考えなきゃいけないことがたくさんあって難しいので、個人的にはあまり使いたくない手法ではありますが。。。)

RCTが必要ならRCTをすればいい！と言いたいところですが、実際に厳密にRCTをしようとするとお金も時間もかかってしまいます。

また、例えば「ユーザーによって商品の値段を変える」と言うような、法的・倫理的にRCTができない場合もあります。

このように実務ではRCTができない状況が多く存在するため、できるだけRCTの効果検証に近い分析を行うために効果検証の知識が必要となってきます。

一旦まとめとしては以上にしておこうと思います。

本書では効果検証の手法として、回帰分析、傾向スコア分析、DIDなどの手法が紹介されていますが、それらについてはより詳しく勉強してから別の機会にまとめようと思います。