現在のコンバージョン率と、検出したい改善幅、有意水準、検出力を入れると、A/Bテストで1群あたりに必要な人数を両側検定として計算します。テストを始める前に「何人集めれば差を見つけられるか」を見積もるのに使えます。
A/Bテスト サンプルサイズ計算ツール(2つの比率の検定)
現在のCVRと検出したい改善幅、有意水準、検出力から、A/Bテストで1群あたりに必要なサンプルサイズを計算します。
使い方
- 現在のCVRを%で入力します(例:5%なら5)。
- 改善幅の指定方法を「相対」か「絶対差」から選び、検出したい改善幅を入力します。
- 有意水準と検出力を選ぶと、1群あたりと2群合計の必要サンプル数が表示されます。
有意水準は「差がないのに差があると誤判定する確率」、検出力は「本当に差があるときに正しく検出できる確率」です。迷ったら有意水準5%・検出力80%を選ぶのが一般的です。
計算式
2つの比率の検定(両側)で、検出力を確保するために必要な1群あたりの人数nは次の式で求めます。
n = [ z(1−α/2)√(2p̄(1−p̄)) + z(1−β)√(p₁(1−p₁)+p₂(1−p₂)) ]² ÷ (p₂−p₁)²
p₁は現在のCVR、p₂は改善後のCVR、p̄は2つの平均、αは有意水準、1−βは検出力、z(…)は標準正規分布の分位点です。相対指定では p₂ = p₁ ×(1+改善幅)、絶対差指定では p₂ = p₁ + 改善幅 です。最後に小数点以下を切り上げます。
計算例
現在のCVR 5%、相対20%の改善を、有意水準5%・検出力80%で検出したい場合です。
- p₁ = 0.05、p₂ = 0.05×1.2 = 0.06、p̄ = 0.055
- z(1−α/2) = 1.96、z(1−β) = 0.8416
- n = [1.96×√(2×0.055×0.945) + 0.8416×√(0.05×0.95+0.06×0.94)]² ÷ 0.01² = 8,157.77
- 切り上げて1群あたり8,158人、2群合計16,316人
CVRを5%から6%へ1ポイント上げる効果を見つけるには、A案・B案にそれぞれ約8,000人が必要という見積もりになります。
なお、有意水準を1%に厳しくしたり、検出力を90%に上げたりすると、同じ改善幅でも必要な人数はさらに増えます。
結果の見方
- 表示される人数は1つの群に必要な数です。A/Bの2案なら合計はその2倍になります。
- 改善幅を半分にすると、必要な人数はおよそ4倍になります。小さな差を検出するには多くのデータが必要です。
- 検出力80%は「本当に差があるとき、80%の確率で有意差を検出できる」という意味です。
- 1日の訪問数で割ると、テストに必要なおおよその日数がわかります。
改善幅と必要人数の目安
現在のCVRが5%、有意水準5%・検出力80%のとき、相対改善幅を変えると必要人数は次のように変わります(このツールで計算した値です)。
| 相対改善幅 | 目標CVR | 1群あたりの人数 |
|---|---|---|
| 10% | 5.5% | 31,234人 |
| 20% | 6% | 8,158人 |
| 50% | 7.5% | 1,471人 |
注意点
- 改善幅は「この程度の差なら施策を採用する」というビジネス上の最小値で決めます。期待値を大きくしすぎると、人数を少なく見積もってしまいます。
- 正規近似を使った式です。CVRが極端に低い場合や人数が少ない場合は、余裕を持たせてください。
- 3案以上を比べる場合や、多くの指標を同時に見る場合は、多重比較の補正で必要数が増えます。
- 曜日による変動を避けるため、人数に達しても最低1週間程度は続けるのが一般的です。
テスト後は、A/Bテストの有意差計算ツールで実際の結果を検定できます。
A/Bテストのサンプルサイズのよくある質問
Q. 相対改善と絶対差はどう違いますか?
A. 相対は「今のCVRの何%改善か」、絶対差は「何ポイント上げるか」です。CVR5%で相対20%と絶対差1ポイントは同じ6%を意味します。
Q. 検出力は何%にすればよいですか?
A. 一般的には80%がよく使われます。見逃しを減らしたい場合は90%にしますが、必要な人数は増えます。
Q. 必要なサンプル数に届く前にテストを止めてもよいですか?
A. 途中で結果を見て止めると誤って有意と判断しやすくなります。決めた人数に達するまで続けるのが基本です。
