コラム

TOP > コラム > 仮説検証（A/Bテスト)実施時のサンプル数設定は超重要！
仮説検証（A/Bテスト)実施時のサンプル数設定は超重要！
2020年6月15日
アッション（現・SHIFT）では仮説検証（A/Bテスト）を実施する際、基本2週間の検証期間を設けています。
それは、正しい結果を導くためです。
では、どのように考えて期間を設計しているのかをお伝えします。
 
 
 
 

なぜ2週間なのか

前提として、全てのサイトにおいて2週間を実施する必要はありません。
また、アッション（現・SHIFT）でも時に2週間より短いタイミングで終わらせるケースもありますし、逆にそれ以上の期間で実施することもあります。
 
その中で、アッション（現・SHIFT）が2週間という期間に拘る理由は、
「曜日指数」です！！！！
 
曜日指数とは、「曜日によるユーザー行動の変化」です。
それは、週始めと週末、平日と休日といったユーザーの動き方が変わるだろう区切りで見ていきます。
 
※下記、一旦データを元にではなく、私の妄想での行動変化で説明します。
例１）
転職サイトの例
・月～金：日中会社のPCでは見ず、昼休み通勤中にSPでアクセス
・土日：入力項目、書類添付が必要なので自宅PCでアクセスしエントリー
 
例２）
生命保険の申込可能なサイトの例
・月～金：何かしらのキッカケで生命保険に入った方がいいな！と思い情報収集
　　　　　通勤中にSPで情報収集、日中昼休みに会社PCで詳細プランを調べる
　　　　　良さげなプランがあったのでLINEで妻に共有、何度かLINEベースでやりとり
・土日：平日にLINEベースで話していた内容を具体的に対面で話し、夫婦間にて意思決定
・そして翌月曜：会社のPCで再度アクセスして保険の申込
 
「例１」の場合も「例２」の場合も、「平日の数日間」や「週末だけ」で仮説検証（A/Bテスト）を行うと、何かしら問題が起きそうだ！とご理解頂けると思います。
 
勿論、これは曜日指数だけではなく他にも様々な考慮すべき要素があります。
 
ただ、この辺りを更に厳密に行っていくと、
・時間指数
・月の上旬、中旬、下旬等の指数
・月初、月末指数
・特定期間の前半、後半
・季節指数
・閑散期、繁忙期　　などなど
 
指数は沢山ありますが、
やはりWebサイトの改善におけるサイクルを考えると、数か月単位での検証は失う可能性の方が大きいと判断するため、2週間で一旦線引きをしています。
 
そのため、特に気にしておくこととしては、
「季節指数」・近しい意味合いですが「閑散期、繁忙期」・そして「特定期間の前半、後半」
といった比較的変化が大きいだろう期間ごとに同内容の施策検証は行うことも推奨しています。
 
これが「2週間」である理由です。
 
 

どの様に設計するのか

 
トラフィックボリュームが小さいサイトは、上記の「なぜ2週間なのか」を踏まえて仮説検証（A/Bテスト）を実施して頂ければ問題ありません。
しかし、
トラフィックボリュームが大きいサイトの場合は、ただ2週間を実施すると多くのサンプル数がたまります。
それは、すなわち有料の検証（テスト）ツールを利用されている際はコストが大きくかかってしまう可能性があります。
 
そのため、更に仮説検証（A/Bテスト）の「配信比率」を設定する必要が出てきます。
　※配信比率：対象ページに流入しているユーザーの何％をテスト対象とするかの数値（サンプリング検証）
 
次のような流れで考えていきましょう。

1.曜日指数を考え、1週間又は2週間のテストを実施

2.上記「1.」の期間、そのままテストを実施するとサンプル数が多く消費されてしまう

3.「1.」「2.」を踏まえて想定サンプル数を決定し、その数値に1週間又は2週間で実施するための配信比率を決める

4.「1.」「2.」「3.」より配信比率の決定、テスト配信スケジュール（期間又はサンプル上限数）を設定

 

上記の流れで考えて頂ければ正しく検証も出来ますし、コストも肥大化せずに済みます。
ここで軽く例を出しておきます。
 
例）
ECサイトの商品詳細ページで実施
 
商品詳細ページの月間トラフィック：20万UU
テストパターン数：オリジナル含めて２パターン
想定サンプル数：各パターンに1万UU　(オリジナルと大きく変化がある施策且つ、ページ上部での施策のため想定サンプル数1万UUで想定）
テストキャンペーンに流し込むUU数：2万UU
 
上記の条件を踏まえると、
100％で2週間配信すると10万UUのサンプル数が溜まるが、2週間で2万UU流すためには、配信比率を20％に設定する必要がある、ということが分かります。
 
この様な形で設定頂ければ、確かな検証も実施でき、且つコストを抑えた運用が可能です。
 
 

まとめ

 
まずは、自社サイトには曜日指数が大きく存在するのか、否かをGoogle analytics等で確認することが重要です。
実際に考慮しないと判断する中においても把握しておく必要はあります。その上で検証結果データを見に行くことが重要です。
 
自社サイトの動きを把握する、その情報も頭の片隅に置きながら検証結果データを見る！
これを忘れずにHappy Testing！です。
 
 

ご質問やお問合せに関して

お客様のCROのどんなお悩みでも我々アッション（現・SHIFT）はいつでもお力添えさせていただきますので、小さなお悩みだったとしても、お気軽にご相談ください。

 

 

一覧へ戻る