コラム

以前のブログでは、ビジネス目線で施策を考えたために、
KPIは上昇し目的は達成するも、KGIは改善しなかったといった事例をお届けしました。

今回はその続きとして、ユーザーの心理を考えることによって、
負けたテストからどのような気づきを得て、次の施策に繋げるか
といった考え方ついてご紹介していきます。

勝敗結果だけでテストを終わらせていませんか？

ABテストを行うにあたって、
一度のテストの勝ち負けだけで施策の良し悪しを判断し、
勝ったから○、負けたから×のように結論付けて終わらせてしまっていませんか？

それは実はとてももったいないことです。

実は、負けてしまったテストの方がユーザーの態度変容が見えやすく、
結果を考察することでよりCVRが上昇する施策を生み出せることが多々あります。

では、負けてしまったテストをそのままにしないために
負けた理由を徹底的に考えましょう。

負けた理由を考える

僕は、負けた場合、負けた理由を全力で考えます。
何故なら、実施した施策は「CVRが今より良くなる」という仮説のもとで実施しているからです。

まず前提として、施策にしっかりと改善の仮説があることが大切です。
仮説：この施策によってユーザーがどのように動いて、テスト結果がどのようになると考えられるか

そして、負けるということは、仮説として考えたユーザーの動きやユーザー像が実際には違っていたということです。

何が予想と違っていたのだろう？テストパターンを見たユーザーはどう考えて行動したのだろう？
負けて改めて考え直すことで、今までになった新しい見解がたくさん出てくるはずです。

負けたテストを考察し、新たな施策へ

前回はユーザー目線ではなく、ビジネス目線から課題を考えてテスト施策を行いました。

その結果、KPIの数値は改善されたものの、KGIは増加しなかったというお話をお伝えしました。

電話ボタンが見づらい・分かりづらいという視点から改善施策を行った結果、
電話ボタンのタップが増えているのにも関わらず、KGIは上がりませんでした。

それはどうしてか？を徹底的に考えたところ、あることに気づきました。

「そもそもここに来ているユーザーは、どんな目的・どんな思考で来ているのか？」

このテスト対象ページは、リマケ中心のディスプレイ広告からの流入がほとんどだったのです。

つまり、
・「受動的であること、積極的に自分から問い合わせることはしようと思っていない」
・「ちょっとバナーが気になって飛んできただけ」
・「ちょっと調べてみよう」かと軽い気持ち
というのが今回のテストページを見ているユーザーなのではないか？

そこで、
入力するということに対して積極的に行動しないユーザーたちをどう動かすのか？
を考えて出てきた新たな仮説が
「入力フォームが長い・多いと思うユーザーに対してフォームを短く見せることで、
心理的に楽・簡単だと思ったユーザーの入力率が上がり、CVRが増加するのではないか」
となりました。

その仮説から、
「フォームの入力項目を1つずつ順番に出していく」
という新しい施策が生み出されました。

施策

Control(元パターン)に対し、2つのパターンを作成しテストを実施しました。

Variation1：上位3つのプルダウンだけを表示し、3つが入力されれば、残りを表示する。

Variation2：最初の1項目だけを表示し、1項目入力する毎に順番に表示し、CTAボタンは案クリッカブルにし残り項目数を表示しておく。

結果

上記の施策を実施した結果、

Variation2の申し込み完了CVR（KGI）を136.09％の値にまで改善することができました。

まとめ

いかがでしょうか。

ただテストの勝ち負けで終わってしまうのではなく、負けてしまったなら、
「何故ユーザーは仮説と異なる行動をとり、そのような結果に至ってしまったのか」を深く考察することで、
次施策にて大逆転する可能性が高くなります。

是非、過去の負けたテストを振り返って、なぜ負けたのかを考え直してみてください。

関連記事

【ABテスト事例】失敗から大きな変化をもたらすチャンスを得て、成功に繋がった事例
【フォローテスト事例】負けたテストの仮説を組み直し、フォローテストでCVが130％アップ！
【フォローテスト事例】中間KPIは上がったけどCVRは改善しなかった…→フォローテストでCVRが110％アップ！

ご質問やお問合せに関して