2019/06/25

解析を行う前に軸を確かめよう

解析を行うときに軸を間違えると混乱しか生まないから初めにちゃんと考えた方がいい。

analysis

この記事では架空のマッチングアプリを想定しています。

例えば、チームで会話をしていて、

A:「最近気が付いたんだけど、顔写真が未登録のときにマッチングが失敗するんだよねー」
B:「じゃあお知らせとかで顔写真登録を促した方がいいかもしれないね」
C:「そしたら一回数値的な根拠やインパクト出したいね」
おれ:「おっけー」

こういう流れで解析を行なったけど軸をミスって混乱しか発生しなかった話をメモしておきます。

数値的な根拠を出すために、解析を行なったが、肝心の軸がズレていて混乱しか生まなかったわけですが、 顔写真登録を促進した場合の費用対効果やインパクトをざっと把握するために、この手の解析を行います。

顔写真登録の促進なんてお知らせ送ればいいじゃんって思いますが、実際に仮説と実データがあっているか確認することで、それが思い込みの可能性もありますし、他の原因が見つかることもありますので、簡単に数字を確認した方が良いと思っています。


ミスリーディング

顔写真登録がされているかどうか?というのはユーザーに対して顔写真を登録するので、登録、未登録の割合はユーザーにあります。

また、「マッチングに対して応募する」という行為に対して「成功」or「失敗」のフィードバックがあるわけですから、ユーザーに対してそれを与えることができます。

というわけで母数は全ユーザー数と考えます。

全ユーザーに対する顔写真登録状況
顔写真登録有 2674
顔写真登録無 633

そうすることで下記のようにユーザーを軸に分析を行うことができます。

マッチング成功
顔写真登録有 2510
顔写真登録無 280

          2019 06 26 4 19 42

マッチング失敗
顔写真登録有 7620
顔写真登録無 1130

          2019 06 26 4 20 06

などで、出せると安直に考えたわけですが、これが間違いでした。


結局知りたかったのは?

シナリオで考えると間違いに気がつきます。マッチングを「成功」or「失敗」でジャッジするときに、「顔写真の有無」が初めて出てきます。そしてマッチングはユーザーに対して1対nな訳です。

となると母数はマッチングのジャッジの総数になります。

全マッチングの全ジャッジに対する顔写真登録状況
顔写真登録有 26740
顔写真登録無 6330

マッチングのジャッジはその結果「成功」or「失敗」とその相手を持っているので、 全マッチングの全ジャッジに対して、ユーザーの顔写真の登録有無を求めることが可能ですね。

これで本当にマッチングに対する顔写真の有無で結果が変わるのか分かるという訳。めでたしめでたし。


ps. その数にあまり変化がなくて焦った。

...

Share