トラフィック数(CV数)が少ないサイトでABテストを実施するには

ABテストはサイトの規模が大きい（トラフィック数が多い）企業、サイトがするものであると考えていませんか？

確かにサイトの規模が大きければ、
コンバージョン率が0.01ポイント上がっただけでも大きなインパクトがあるのは間違いありません。

更に検証に必要なサンプル数も早く集められる（アッション（現・SHIFT）ではテスト期間は2週間を推奨しています。）ため効果をより得られます。

とはいえ、あまりトラフィック数が大きくないサイトでも成果を出すことはもちろん可能です。

本記事では、トラフィック数の少ないサイトでいかに効果的なABテストを実施するのか、ということについてお話しします！

１トラフィックが低いってどれくらい？

まず「トラフィック数が低い」というのはどのくらいの規模のことを指すのか定義しておかなければなりません。

この定義は人により変わってきますが、ここでは
　・二週間のコンバージョン数が二桁前半程度
　・二週間の訪問者数（UU数）が2,000程度

以上のようなサイト規模を対象としてお話をして行きたいと思います。

２効果的なABテストをするには？

①多変量テストはしない

多変量テストとは同ページ内、又は同サイト内でページを跨ぎ複数要素を同時にテストする手法になります。

変更した各要素のコンバージョン率を計測するために訪問者が分散されてしまうことになるので、
当然結果が出るまでにある程度のUU数と時間を必要とします。

従ってこちらはトラフィックの少ないページにはあまり向いていません。

②インパクトの大きい部分をテストする

テストの結果を判断する際は購入完了率や会員登録など、
KGIで判断をするのが基本ではありますが、ページのトラフィックがあまり大きくないとき、
KGIではなかなか十分なCV数が得られず判断ができません。

まずは大前提として少ないサイトトラフィックのその中でも比較的多くトラフィックの発生しているページを選定しましょう。

更に、そのページの中でも接触ユーザーが多い箇所（例：ページ上部等）を優先して改善していくことが大事です。

③大胆なテストをする

一概には言えませんが変化領域が大きい方がユーザーの態度変容が起こりやすいケースは多々あります。

テキストを1か所変えただけ、ボタンの色を変えただけといった施策だと数値的な変化を得ずらくなることがあります。

もし、CTAボタン領域の検証をしたい場合は、色、テキスト、場所、ボタン周り情報といった組み合わせで実施すると数字的な差異が発生しやすくなります。

ただ、この方法を行うと何が良くて勝ったのか？といった詳細なインサイトを得ずらくなるデメリットもあります。

組み合わせ方によっては得られるものもあります。

例）

・色、テキスト、ボタン周り情報

・場所、数（この様な場合はどのボタンが押されたのか？を各ボタン毎に計測することをお勧めします。）

この様に分けることで比較的検証後の分析もしやすくなります。

④KGIのみではなくKPIを取得する

CV数が少ないと統計的な判断が非常にしづらくなります。また、１CVあたりの重みが大きくなり不確かな結果となるケースが多くあります。

その場合は変更した要素のCTRや、次のページへの遷移率、対象ページのスクロール率など、発生しやすいゴール、KPIも判断材料とします。

ポイントとしては、CVファネルを計測することです。

KGIである最終の「完了ページ遷移」のみではなく、手前の「確認ページ遷移」、「フォームページ遷移」「フォームへのCTAボタンクリック」、表示されていないCTAボタンがある際は、「そのCTAボタンが表示されたかの有無」等。

この様にファネルでの計測ができると多くの発見を得ることができます。

また、プロセスのKPIが大きく上がっていても、KGIが著しく下がっている場合は有効的な判断をしないことがおすすめです。

例）

テスト案：フォーム遷移を多く促すことが出来ればKGIがアップすると仮説だて、ページ内上部にCTAボタンを追加

結果：フォームへの遷移は大きく伸びたが、KGIにて元ページに負けている。※数が少ないため負けの判断は着きづらいですが、著しく下がっている等

想定される原因：ユーザーはサービス自体の理解が深まっていない状況で追加したCTAボタンをクリックしフォームへ遷移してしまった。また、そのフォームが非常にヘビーだったためそのまま離脱してしまった。

ボタンを追加したことで増えた遷移のみではなく、元ページであれば情報を深掘りしてから遷移していただろうユーザーすらも、手前でフォームに流し込んでしまい、CVRを落としてしまうケースがあります。

まとめ

以上で見てきたように、ABテストは規模の大きいサイトだけが実施するものではありません。
やり方を工夫することによって、規模はあまり大きくなくても、十分成果を出すことができます。

これまでサイト規模を理由にABテストを実施してこなかったという方がいらっしゃいましたら、
これを機に検討をしてみてはいかがでしょうか？

「ABテストツールを導入したいけど、成果が上がるかが不安…」
「ABテストの事例を知りたい！」

という方は、ぜひお問い合わせをしてみてください！

コラム