A/Bテスト有意差計算ツール|2つの比率のz検定

A案とB案の訪問数とコンバージョン数から、コンバージョン率(CVR)の差が偶然の範囲かどうかを2つの比率のz検定で判定します。p値・z値・改善率を表示するので、施策の効果を数字で説明したいときに使えます。

A/Bテスト 有意差計算ツール(2つの比率の検定)

A案とB案の訪問数とコンバージョン数から、コンバージョン率の差が統計的に有意かをz検定で判定します。

使い方

  1. A案とB案のそれぞれについて、訪問数(試行回数)とコンバージョン数を入力します。
  2. 有意水準を選びます。迷ったら一般的な5%を選びます。
  3. 表示されたp値と判定を確認します。入力を変えると自動で再計算されます。

コンバージョンは購入や会員登録など、目的の行動を1回の訪問で達成したかどうかを0か1で数えたものです。訪問数のかわりにユーザー数やセッション数を使ってもかまいませんが、A案とB案で数え方をそろえてください。

計算式

2つの比率の差を、帰無仮説「AとBのCVRは等しい」のもとで標準化します。

p = (cA + cB) / (nA + nB)
SE = √( p(1−p)(1/nA + 1/nB) )
z = (pB − pA) / SE
両側p値 = 2 × (1 − Φ(|z|))

nA・nBは訪問数、cA・cBはコンバージョン数、pA・pBは各案のCVR、pは2案を合算したCVR、Φは標準正規分布の累積分布関数です。

計算例

A案が1,000訪問で50件、B案が1,000訪問で70件のコンバージョン、有意水準5%の場合です。

  1. CVRはA案5%、B案7%で、改善率は40%です。
  2. 合算した比率 p = (50+70)/(1000+1000) = 0.06
  3. 標準誤差 SE = √(0.06×0.94×(1/1000+1/1000)) = 0.0106
  4. z = (0.07−0.05)/0.0106 = 1.883、両側p値 = 0.0597

p値0.0597は有意水準0.05以上なので、判定は「有意差なし」です。改善率40%は大きく見えますが、このデータ量では偶然の差である可能性を否定できません。

結果の見方

  • p値が有意水準より小さければ「有意差あり」です。偶然だけでこれほどの差が出る確率が低いことを意味します。
  • p値が有意水準以上なら「有意差なし」です。差がないと証明されたわけではなく、データが足りない可能性もあります。
  • z値の絶対値がおよそ1.96を超えると、両側5%水準で有意になります。
  • 改善率はビジネス上の大きさ、p値は偶然かどうかの目安です。両方を合わせて判断します。

p値と有意水準の関係

p値 有意水準5%での判定 読み方
0.01未満 有意差あり 偶然とはかなり考えにくい差
0.01〜0.05 有意差あり 偶然とは考えにくい差
0.05以上 有意差なし 偶然の範囲かもしれない差

有意差なしの場合は、必要なサンプルサイズに届いているかを先に確認しましょう。

注意点

  • 結果を見ながらテストを途中で止めると、偶然の差を有意と判断しやすくなります。必要なサンプル数を先に決めてから実施しましょう。
  • この検定は正規近似を使います。コンバージョン数が数件しかないときは近似が粗くなるため、フィッシャーの正確確率検定なども検討してください。
  • 同じユーザーが何度も訪問するデータでは、訪問どうしが独立という前提が崩れます。ユーザー単位で集計するのが安全です。
  • 多くの指標や案を同時に比べると、どれかが偶然有意になりやすくなります。

テストの前に、A/Bテストのサンプルサイズ計算ツールで必要な訪問数を見積もっておくと、結果を判断しやすくなります。

A/Bテストの有意差のよくある質問

Q. A/Bテストで有意差が出ないときはどうすればよいですか?

A. 差がないと決めつけず、必要なサンプルサイズに届いているかを確認しましょう。届いていなければ期間を延ばしてデータを増やします。

Q. 片側検定と両側検定のどちらを使うべきですか?

A. B案が悪くなる可能性も含めて調べるなら両側検定が一般的です。このツールは両側p値を表示します。

Q. 改善率が大きいのに有意差なしになるのはなぜですか?

A. 訪問数やコンバージョン数が少ないと偶然のばらつきが大きくなるためです。同じ改善率でもデータが多ければ有意になることがあります。