ABテストで少しだけ重要な三つのこと

ささいな事ですが、ABテストを何度もやってきて思ったことで、意外と多くの人が書いてないことを書いてみようかと思います。

あくまで個人的な所感であり、「少しだけ」重要かな、と思う点なのでご参考まで。

個人的に思う要点としては、下記の三つです。

  1. テスト対象者を新規ユーザーのみに絞る。
  2. ABパターンの配分比率を変えない。
  3. テスト後の分析を絶対にやる。

 

1.テスト対象者を新規ユーザーのみに絞る。

これまでいろいろテストしてきた感覚で申し上げると、デフォルトパターンよりも変化させたBパターンの方が、数値は良くも悪くも大きくブレることが多い気がします。特に開始直後の数日間にこういった動きが出ることが多いです。これはおそらく、通常使いしているお客さんは、「何か変わった」ということに対して反応しているのだと思われます。

例えば普段使いしていただいているお客さんに、これまでと違う検索ナビゲーションのデザインテストをやった場合、そのデザインの良し悪しではなく、「何かいつもと違う」という感覚から利用頻度が高くなるケースがあります。この辺は行動経済学か何か(忘れましたが)の学問でも証明されていたはずですが、当然の如くウェブ上でのABテストにも影響を及ぼしていると思われます。

なので、弊社でテストを実施する場合は、テストの意図にもよりますが基本的に「新規ユーザー」に絞ったABテストを実施します。このほうが数値にブレが出にくいですし、明瞭なテスト結果を得られます。

また付随的ながら、新規ユーザーだけに絞るとテスト結果の分析も楽です。

 

2.ABパターンの配分比率を変えない。

これはもう絶対にやらない!と心に決めてます。

通常のABテストだと50:50に振り分けますし、3パターンあれば33:33:33とかだと思います。この配分をテスト期間中に変えると悲惨な目に会うことがあります・・・涙。

例えば二週間継続すると決め手始めたテストでも、一週間経過時点で既にBパターンの方が勝率っが50%も高い!などということがあるかと思います。こういったシーンに遭遇すると、当然勝率の高い方の配分を高めたくなる、というのが人情というものであり、経済行為を行う企業人としては当然のことだと思います。

が、しかしここで例えばA:Bの比率を2:8などにしてしまうと、今度はこれまで勝っていたBパターンの勝率が極端に降下し、あっという間にAパターンの方が勝率が高くなり、結果二週間経過後にはAパターンの方が効果が高い、などという結果になることがあります。

これは、つまるところ「平均への回帰」が生じた結果だと思われます。なので、正確なテストを実施するのであれば、絶対にテスト期間中の配分を変更することはやめるべきだと思います。また、ある程度デイリーでの推移も追っていきながら、平均への回帰がある程度落ち着いたと思われるところまで辛抱強く待たないと、間違った判断をすることになります。

 

3.テスト後の分析を絶対にやる。

本稿タイトルにて「少しだけ」と付けましたが、こればっかりは「少しだけ」ではなく最重要です。

テストの結果分析において、どちらが勝ったのかの「結果のみ」にスコープすることが多いかと思います。当たり前と言えば当たり前なのですが。ただ、ABテストの本質は勝ち負けよりも、画面が変わることによってどんな差が出たのかを、より深く追跡することにこそ真の価値があると個人的には思っています。そして、その深い追跡というのが「ノウハウ」たるものになるではないかと。

例えばテスト対象ページにランディングしたユーザのCVRがAパターンの方が20%高かったとしても、よくよく見てみたら直帰率が10ptも悪くなっていたとか、購入単価が下がっていた、ということが往々にしてあります。

また、AB両パターンでヒートマップをかけてみたら全く違う動きをしていて、実はCVRの高い方がユーザビリティを阻害している可能性が見つかった、というケースもあります。

企業としては成果を成果としてちゃんと見るべきですが、それ以上にマーケターとしては得られるノウハウを最大限絞り出して吸収してこそ、次に繋がるのだと思います。そして、ABテストの事後分析は、実はアクセス解析ツールと延々にらめっこするよりも圧倒的に多くの情報・知見を与えてくれる、というのが個人的な経験です。

なので、ABテストを実施した後は、短絡的に「勝ちパターンを採用」とするのではなく、次の仮説と改善プラン作成に時間を割くべきだと思います。逆に言うと、最初の仮説構築やテストプランニングに時間をかける必要は全然無く、まずは経験と勘に基づく「実行」を優先しても良いと思っています。時間を割くべきはテスト終了後だと思います。

 

以上が私個人の思う、ABテストの「少しだけ」重要なことでした。

 

なお、1と3をやる場合の大前提として、そもそもABテストとアクセス解析ツールが結びついている必要があります。この辺はGoogleなりAdobeなりで統一されていれば特に気にする必要は無いと思いますが、ABテスト単体としてのソリューションだと軽く一手間かける必要はあると思うので、詳しい人に聞きながらやる必要がありそうです。

以上です。

ヒートマップとABテストツールを組み合わせて分かること。

私はヒートマップツールが好きです。こと、ABテストツールとヒートマップツールの組み合わせは、ウェブの改善において最強だと思っています。おそらく、この組み合わせ以上に訪問者のインサイトに迫れる方法は無いのではないか、というぐらい素晴らしい。

ABテストツールとヒートマップツールを組み合わせると?

個人的には、自社の画面をガッツリご紹介したいところながら、それをやると自社バレするのでできず・・・。なので、適当な商材のLPを例に。

 

例えば、以下のような構図の、縦に長いランディングページがあると仮定します。

<html>——————————-
1:ファーストビュー「お得さを訴求」
——————————-
2:概要
——————————-
3:金額(シミュレーション)
——————————-
4:お得なキャンペーン情報
——————————-
5:申込みプロセス
——————————-
6:申込みボタン
——————————-</html>

みたいな感じで。

で、こういったページでヒートマップをかけてみると、やはり赤くなる(よくマウスが当たっている)ポイントはページ上部の「概要」や「金額」の部分になることが多いと思います。

 

さて、ここでABテストツールを使って、ファーストビューの訴求を変えてみます。デフォルトのファーストビューでは、上述のとおり「お得さ」を打ち出した訴求になっていますが、そのファーストビューのBパターンとして「キャンペーンの魅力」を打ち出したものをセットしてみました。つまり、「4:お得なキャンペーン情報」に記載される内容をファーストビューで打ち出すパターンを見せてみたわけです。

するとどうなったか。

【Aパターン】※暖色系の方がヒートマップ上よく見られている箇所、寒色はスルーされる箇所。

<html>——————————-
  1:ファーストビュー「お得さを訴求」
 ——————————-
  2:概要
 ——————————-
  3:金額(シミュレーション)
 ——————————-
  4:お得なキャンペーン情報
 ——————————-
  5:申込みプロセス
 ——————————-
  6:申込みボタン
 ——————————-</html>

 

【Bパターン】※暖色系の方がヒートマップ上よく見られている箇所、寒色はスルーされる箇所。

<html>——————————-
  1:ファーストビュー「キャンペーンの魅力を訴求」
——————————-
  2:概要
——————————-
  3:金額(シミュレーション)
——————————-
  4:お得なキャンペーン情報
——————————-
  5:申込みプロセス
——————————-
  6:申込みボタン
——————————-</html>

少々見づらくて申し訳ないのですが、上記のようにファーストビューの訴求を変えることで、ページのその他の要素は全然変更していないのに、ヒートマップの掛かり方が大きく変わってきたのです。

つまり、

  • Aパターンだと「3:金額」がよく見られ、「4:お得なキャンペーン情報」は見過ごされていたが、
  • Bパターンだと「4:お得なキャンペーン情報」が「3:金額」よりもよく見られるようになった。

という状態になりました。また、併せてCVRにも若干Bパターンの方が上昇するという傾向もありました。

 

ファーストビューが訪問者の関心事を規定する?

この現象は個人的にとても興味深く、面白いと感じました。

この結果から考えられることは、これまで多数語られてきた「お客さんに知ってほしい情報をファーストビューでちゃんと訴求する」ということとも合致します。

と同時に、少し斜に構えて見ると、「ファーストビューでの見せ方を変えてもそれほど意味は無く、重要なのはファーストビューで誘導した先の内容である」ということも言えるのではないか、と個人的には思うのです。少し飛躍した考えですが。

余談ながら、そもそもヒートマップツールの動画機能(弊社はClickTaleを使っているので)を見てみると、昨今のスマホ普及の影響か、ページの上部から順番に見ていくというよりも、むしろページ全体を把握するために一旦下までナメる、という行動が多く見られます。なので、実はスクロール率などはさほど意味が無いのではないかとも考えています。当然、ファーストビューはちゃんと見られるのですが。

 

そういったことを考慮しつつ、何が言いたいかというと?

ファーストビューは比較的ちゃんと「読む」という行為をしてくれる箇所だと思います。なので、ファーストビューの訴求は、そのままその後のユーザー行動に影響を及ぼす力が強い、というのはよく言われることでもあり、正だと思います。ただ、ファーストビューで「見せたいものを訴求する」「どういうページなのかを伝える」だけで良いのかというと、それは間違いなのではないか、ということも感じるのです。

ファーストビューで見せたテーマに対して、ユーザーはそれを補完する内容をページ内で探すことになります。なので、重要なのはむしろファーストビュー以上に同一ページ上での補完部分なのではないか、ということも一つ考えられるのではないか、ということです。

 

その他諸々、色々と見えてきたことはあるわけですが、この辺の事柄というのもABテストツールとヒートマップを組み合わせてみて分かることだなぁ、ということで。そんなこんなでウェブ分析上の最強の組み合わせだと思うのです。