ささいな事ですが、ABテストを何度もやってきて思ったことで、意外と多くの人が書いてないことを書いてみようかと思います。
あくまで個人的な所感であり、「少しだけ」重要かな、と思う点なのでご参考まで。
個人的に思う要点としては、下記の三つです。
- テスト対象者を新規ユーザーのみに絞る。
- ABパターンの配分比率を変えない。
- テスト後の分析を絶対にやる。
１．テスト対象者を新規ユーザーのみに絞る。
これまでいろいろテストしてきた感覚で申し上げると、デフォルトパターンよりも変化させたBパターンの方が、数値は良くも悪くも大きくブレることが多い気がします。特に開始直後の数日間にこういった動きが出ることが多いです。これはおそらく、通常使いしているお客さんは、「何か変わった」ということに対して反応しているのだと思われます。
例えば普段使いしていただいているお客さんに、これまでと違う検索ナビゲーションのデザインテストをやった場合、そのデザインの良し悪しではなく、「何かいつもと違う」という感覚から利用頻度が高くなるケースがあります。この辺は行動経済学か何か（忘れましたが）の学問でも証明されていたはずですが、当然の如くウェブ上でのABテストにも影響を及ぼしていると思われます。
なので、弊社でテストを実施する場合は、テストの意図にもよりますが基本的に「新規ユーザー」に絞ったABテストを実施します。このほうが数値にブレが出にくいですし、明瞭なテスト結果を得られます。
また付随的ながら、新規ユーザーだけに絞るとテスト結果の分析も楽です。
２．ABパターンの配分比率を変えない。
これはもう絶対にやらない！と心に決めてます。
通常のABテストだと50:50に振り分けますし、３パターンあれば33:33:33とかだと思います。この配分をテスト期間中に変えると悲惨な目に会うことがあります・・・涙。
例えば二週間継続すると決め手始めたテストでも、一週間経過時点で既にBパターンの方が勝率っが50%も高い！などということがあるかと思います。こういったシーンに遭遇すると、当然勝率の高い方の配分を高めたくなる、というのが人情というものであり、経済行為を行う企業人としては当然のことだと思います。
が、しかしここで例えばA:Bの比率を2:8などにしてしまうと、今度はこれまで勝っていたBパターンの勝率が極端に降下し、あっという間にAパターンの方が勝率が高くなり、結果二週間経過後にはAパターンの方が効果が高い、などという結果になることがあります。
これは、つまるところ「平均への回帰」が生じた結果だと思われます。なので、正確なテストを実施するのであれば、絶対にテスト期間中の配分を変更することはやめるべきだと思います。また、ある程度デイリーでの推移も追っていきながら、平均への回帰がある程度落ち着いたと思われるところまで辛抱強く待たないと、間違った判断をすることになります。
３．テスト後の分析を絶対にやる。
本稿タイトルにて「少しだけ」と付けましたが、こればっかりは「少しだけ」ではなく最重要です。
テストの結果分析において、どちらが勝ったのかの「結果のみ」にスコープすることが多いかと思います。当たり前と言えば当たり前なのですが。ただ、ABテストの本質は勝ち負けよりも、画面が変わることによってどんな差が出たのかを、より深く追跡することにこそ真の価値があると個人的には思っています。そして、その深い追跡というのが「ノウハウ」たるものになるではないかと。
例えばテスト対象ページにランディングしたユーザのCVRがAパターンの方が20%高かったとしても、よくよく見てみたら直帰率が10ptも悪くなっていたとか、購入単価が下がっていた、ということが往々にしてあります。
また、AB両パターンでヒートマップをかけてみたら全く違う動きをしていて、実はCVRの高い方がユーザビリティを阻害している可能性が見つかった、というケースもあります。
企業としては成果を成果としてちゃんと見るべきですが、それ以上にマーケターとしては得られるノウハウを最大限絞り出して吸収してこそ、次に繋がるのだと思います。そして、ABテストの事後分析は、実はアクセス解析ツールと延々にらめっこするよりも圧倒的に多くの情報・知見を与えてくれる、というのが個人的な経験です。
なので、ABテストを実施した後は、短絡的に「勝ちパターンを採用」とするのではなく、次の仮説と改善プラン作成に時間を割くべきだと思います。逆に言うと、最初の仮説構築やテストプランニングに時間をかける必要は全然無く、まずは経験と勘に基づく「実行」を優先しても良いと思っています。時間を割くべきはテスト終了後だと思います。
以上が私個人の思う、ABテストの「少しだけ」重要なことでした。
なお、１と３をやる場合の大前提として、そもそもABテストとアクセス解析ツールが結びついている必要があります。この辺はGoogleなりAdobeなりで統一されていれば特に気にする必要は無いと思いますが、ABテスト単体としてのソリューションだと軽く一手間かける必要はあると思うので、詳しい人に聞きながらやる必要がありそうです。
以上です。
