A案とB案の訪問数とコンバージョン数から、コンバージョン率(CVR)の差が偶然の範囲かどうかを2つの比率のz検定で判定します。p値・z値・改善率を表示するので、施策の効果を数字で説明したいときに使えます。
A/Bテスト 有意差計算ツール(2つの比率の検定)
A案とB案の訪問数とコンバージョン数から、コンバージョン率の差が統計的に有意かをz検定で判定します。
使い方
- A案とB案のそれぞれについて、訪問数(試行回数)とコンバージョン数を入力します。
- 有意水準を選びます。迷ったら一般的な5%を選びます。
- 表示されたp値と判定を確認します。入力を変えると自動で再計算されます。
コンバージョンは購入や会員登録など、目的の行動を1回の訪問で達成したかどうかを0か1で数えたものです。訪問数のかわりにユーザー数やセッション数を使ってもかまいませんが、A案とB案で数え方をそろえてください。
計算式
2つの比率の差を、帰無仮説「AとBのCVRは等しい」のもとで標準化します。
p = (cA + cB) / (nA + nB)
SE = √( p(1−p)(1/nA + 1/nB) )
z = (pB − pA) / SE
両側p値 = 2 × (1 − Φ(|z|))
nA・nBは訪問数、cA・cBはコンバージョン数、pA・pBは各案のCVR、pは2案を合算したCVR、Φは標準正規分布の累積分布関数です。
計算例
A案が1,000訪問で50件、B案が1,000訪問で70件のコンバージョン、有意水準5%の場合です。
- CVRはA案5%、B案7%で、改善率は40%です。
- 合算した比率 p = (50+70)/(1000+1000) = 0.06
- 標準誤差 SE = √(0.06×0.94×(1/1000+1/1000)) = 0.0106
- z = (0.07−0.05)/0.0106 = 1.883、両側p値 = 0.0597
p値0.0597は有意水準0.05以上なので、判定は「有意差なし」です。改善率40%は大きく見えますが、このデータ量では偶然の差である可能性を否定できません。
結果の見方
- p値が有意水準より小さければ「有意差あり」です。偶然だけでこれほどの差が出る確率が低いことを意味します。
- p値が有意水準以上なら「有意差なし」です。差がないと証明されたわけではなく、データが足りない可能性もあります。
- z値の絶対値がおよそ1.96を超えると、両側5%水準で有意になります。
- 改善率はビジネス上の大きさ、p値は偶然かどうかの目安です。両方を合わせて判断します。
p値と有意水準の関係
| p値 | 有意水準5%での判定 | 読み方 |
|---|---|---|
| 0.01未満 | 有意差あり | 偶然とはかなり考えにくい差 |
| 0.01〜0.05 | 有意差あり | 偶然とは考えにくい差 |
| 0.05以上 | 有意差なし | 偶然の範囲かもしれない差 |
有意差なしの場合は、必要なサンプルサイズに届いているかを先に確認しましょう。
注意点
- 結果を見ながらテストを途中で止めると、偶然の差を有意と判断しやすくなります。必要なサンプル数を先に決めてから実施しましょう。
- この検定は正規近似を使います。コンバージョン数が数件しかないときは近似が粗くなるため、フィッシャーの正確確率検定なども検討してください。
- 同じユーザーが何度も訪問するデータでは、訪問どうしが独立という前提が崩れます。ユーザー単位で集計するのが安全です。
- 多くの指標や案を同時に比べると、どれかが偶然有意になりやすくなります。
テストの前に、A/Bテストのサンプルサイズ計算ツールで必要な訪問数を見積もっておくと、結果を判断しやすくなります。
A/Bテストの有意差のよくある質問
Q. A/Bテストで有意差が出ないときはどうすればよいですか?
A. 差がないと決めつけず、必要なサンプルサイズに届いているかを確認しましょう。届いていなければ期間を延ばしてデータを増やします。
Q. 片側検定と両側検定のどちらを使うべきですか?
A. B案が悪くなる可能性も含めて調べるなら両側検定が一般的です。このツールは両側p値を表示します。
Q. 改善率が大きいのに有意差なしになるのはなぜですか?
A. 訪問数やコンバージョン数が少ないと偶然のばらつきが大きくなるためです。同じ改善率でもデータが多ければ有意になることがあります。
