A/Bテストサンプルサイズ計算ツール|必要人数

現在のコンバージョン率と、検出したい改善幅、有意水準、検出力を入れると、A/Bテストで1群あたりに必要な人数を両側検定として計算します。テストを始める前に「何人集めれば差を見つけられるか」を見積もるのに使えます。

A/Bテスト サンプルサイズ計算ツール(2つの比率の検定)

現在のCVRと検出したい改善幅、有意水準、検出力から、A/Bテストで1群あたりに必要なサンプルサイズを計算します。

使い方

  1. 現在のCVRを%で入力します(例:5%なら5)。
  2. 改善幅の指定方法を「相対」か「絶対差」から選び、検出したい改善幅を入力します。
  3. 有意水準と検出力を選ぶと、1群あたりと2群合計の必要サンプル数が表示されます。

有意水準は「差がないのに差があると誤判定する確率」、検出力は「本当に差があるときに正しく検出できる確率」です。迷ったら有意水準5%・検出力80%を選ぶのが一般的です。

計算式

2つの比率の検定(両側)で、検出力を確保するために必要な1群あたりの人数nは次の式で求めます。

n = [ z(1−α/2)√(2p̄(1−p̄)) + z(1−β)√(p₁(1−p₁)+p₂(1−p₂)) ]² ÷ (p₂−p₁)²

p₁は現在のCVR、p₂は改善後のCVR、p̄は2つの平均、αは有意水準、1−βは検出力、z(…)は標準正規分布の分位点です。相対指定では p₂ = p₁ ×(1+改善幅)、絶対差指定では p₂ = p₁ + 改善幅 です。最後に小数点以下を切り上げます。

計算例

現在のCVR 5%、相対20%の改善を、有意水準5%・検出力80%で検出したい場合です。

  1. p₁ = 0.05、p₂ = 0.05×1.2 = 0.06、p̄ = 0.055
  2. z(1−α/2) = 1.96、z(1−β) = 0.8416
  3. n = [1.96×√(2×0.055×0.945) + 0.8416×√(0.05×0.95+0.06×0.94)]² ÷ 0.01² = 8,157.77
  4. 切り上げて1群あたり8,158人、2群合計16,316人

CVRを5%から6%へ1ポイント上げる効果を見つけるには、A案・B案にそれぞれ約8,000人が必要という見積もりになります。

なお、有意水準を1%に厳しくしたり、検出力を90%に上げたりすると、同じ改善幅でも必要な人数はさらに増えます。

結果の見方

  • 表示される人数は1つの群に必要な数です。A/Bの2案なら合計はその2倍になります。
  • 改善幅を半分にすると、必要な人数はおよそ4倍になります。小さな差を検出するには多くのデータが必要です。
  • 検出力80%は「本当に差があるとき、80%の確率で有意差を検出できる」という意味です。
  • 1日の訪問数で割ると、テストに必要なおおよその日数がわかります。

改善幅と必要人数の目安

現在のCVRが5%、有意水準5%・検出力80%のとき、相対改善幅を変えると必要人数は次のように変わります(このツールで計算した値です)。

相対改善幅 目標CVR 1群あたりの人数
10% 5.5% 31,234人
20% 6% 8,158人
50% 7.5% 1,471人

注意点

  • 改善幅は「この程度の差なら施策を採用する」というビジネス上の最小値で決めます。期待値を大きくしすぎると、人数を少なく見積もってしまいます。
  • 正規近似を使った式です。CVRが極端に低い場合や人数が少ない場合は、余裕を持たせてください。
  • 3案以上を比べる場合や、多くの指標を同時に見る場合は、多重比較の補正で必要数が増えます。
  • 曜日による変動を避けるため、人数に達しても最低1週間程度は続けるのが一般的です。

テスト後は、A/Bテストの有意差計算ツールで実際の結果を検定できます。

A/Bテストのサンプルサイズのよくある質問

Q. 相対改善と絶対差はどう違いますか?

A. 相対は「今のCVRの何%改善か」、絶対差は「何ポイント上げるか」です。CVR5%で相対20%と絶対差1ポイントは同じ6%を意味します。

Q. 検出力は何%にすればよいですか?

A. 一般的には80%がよく使われます。見逃しを減らしたい場合は90%にしますが、必要な人数は増えます。

Q. 必要なサンプル数に届く前にテストを止めてもよいですか?

A. 途中で結果を見て止めると誤って有意と判断しやすくなります。決めた人数に達するまで続けるのが基本です。