コラム

ABテストを実施して、その結果を十分に活用できていますか？

仮説通りに数値が変化し、CVRが改善出来ていれば良いですが、
そうでなかった場合の結果の分析は難しいですよね。

そこで今回は、「KPIの数値は上昇したのにKGIは減少した」ケースについての考え方をお伝えします。

A/Bテスト背景

業種：　　　　　自動車・買取
サイトの形式：　無料出張買取査定の申込みランディングページ
流入チャネル：　ディスプレイ広告経由(リマーケティングが主流)
対象デバイス：　スマートフォン
KGI：　　　　　出張買取査定の予約完了（CV）
KPI：　　　　　CV（KGI）までのファネル

CVまでの導線は下記の２種類があります。

①ランディングページ上にある電話ボタンをタップして、ユーザーから直接お問い合わせ（申し込み）
　電話番号ボタンタップ　→　通電　→　オペレーターと無料査定額の確認　→　出張買取査定の予約完了（CV）

②ランディングページ上の申込フォームから無料査定の申込後、オペレータから連絡し、通話。
　フォームボタンタップ　→　フォーム入力　→　フォーム送信　→　送信内容確認後オペレータからコール　→　以降①と同じ

※電話にて大まかな無料査定額をお伝えした後に、出張買取査定の予約申込みを案内しCVへ繋げます。
※今回は⓵を軸にお伝えします。

＜課題＞

電話申込（上記①）の方が通電率が高いため、このサイトでは電話ボタンタップからのCVを特に重視していました。
そこで、まず電話ボタンをタップする上でどういったことが課題になっているかを考えました。

• 電話ボタンが目立たず、ボタンとして認識がされていないのではないか。
• 電話ボタンが背景に埋もれてしまっているのではないか。
• ページの最上部にあるため、ページを開いた直後にスクロールしてしまうと電話ボタンに気づかないのではないか。
• 電話番号周りの情報が全て並列な表現になっているためユーザーに伝わっていないのではないか。

＜仮説＞

電話ボタンのデザインを変えることでボタンと認識され、電話ボタンのタップ率が上がり、電話での問い合わせが増えるのではないか。

具体的なA/Bテスト（検証）施策

上記の＜仮説＞から電話番号ボタンのデザインを変更することにしました。

・ボタン感を出すことでアクションを想起

・色の変更でアテンションを強化
　※実際のテストでは緑のグラデーションに変更。
　この時代のi-Phoneの通話ボタンに限りなく近づけることで、普段身近にあるデザインからタップで通話できることを想起

・電話番号周りの情報’（テキスト）を整理すること「通話無料」「24時間365日」といった重要情報をわかりやすくする

A/Bテスト（検証）結果

電話ボタンクリック：151.97%改善

しかし、着信から買取についての有効問い合わせの割合が58.16％と改悪
※修理等、買取に不要な問い合わせなどが増加

電話による買取予約（KGI）が19.53％の減少という結果になりました。

更に、KGIの低下だけではなく、オペレーターの工数も増え、
成果としては数値以上のマイナスとなりました。

しかし、ここで終わらせてしまっては、この課題が改善できないままになってしまいます。
この結果を元に考察をしていきました。

A/Bテスト（検証）からの気づき

電話ボタンのタップが増えたことに関しては、ボタン感を出して視認性を高めることで、ボタンとしてとりあえず押してみようというユーザーが増加したものと考えられます。

そこで、ユーザーがどのような意図でこのページを見ているのかを考えました。

このページでは、リマーケティング中心のディスプレイ広告からの流入が多く占めています。
そのため、能動的なユーザーは少なく、電話申込に対して積極的ではなかったかもしれません。

流入してきたユーザーのステータス、更にユーザーのアクションの意図を理解した上で<改善施策仮説>を設計しないと、目の前のKPIは増加させることが出来ても、ビジネス成果であるKGIを引き上げることはできないことに気づきました。

これらを踏まえて、次のように推測しました。

・通話無料であることから、買取とは関係ない内容でも問い合わせてみようというユーザーが増えてしまった可能性が考えられます。

気づきからのネクストアクション

ディスプレイ経由で流入してきたユーザーに対しては、
電話に促すのではなく申込フォームに促した方が良いのではないかと考えました。

これを検証した結果は次の記事でお伝えします。
　次の記事：【ABテスト事例】負けたテストをそのままにしない!次の施策に繋げるための考え方

今回のケースでは、電話ボタンのタップから申込フォームに促すというように、CV導線の方向性を変えるという解決策を考え出しましたが、一概には言えないケースも多くあります。
まずはCVまでのファネルをしっかり計測することで、その解決の糸口を見つけることが出来ます。

関連記事

【ABテスト事例】EFO事例第4弾！データからユーザー傾向を把握してCVR改善に成功した事例
【ABテスト事例】負けたテストをそのままにしない!次の施策に繋げるための考え方 【フォローテスト事例】負けたテストの仮説を組み直し、フォローテストでCVが130％アップ！

ご質問やお問合せに関して