※とりあえず、小沢健二風のタイトルにしたことに意味はありません。検索を意識したタイトルにしろよ！っていう話はさて置き。
さて、最近ABテスト関連の記事やセミナーを、最近たくさん見かけるようになったと感じます。ABテストをやる、という文化がようやく一般化されてきたのだろう、これは良い兆候だと思うのです。
使うツールは、OptimizelyでもPlan BCDでもAdobe TargetでもDLPOでも、自社の要件にあったものを使えば良いと思います。ちなみに弊社はAdobeとPlan BCDを併用してます。理由はいろいろありますが、それはいずれ「ABテストツールの選び方」的な記事でも書こうと思います。
そんな余談はさて置き。ABテストが一般化されてきた一方で、逆にテストをすることに大しての色々な疑念や反論というのも増えてきた（表出してきた）のではないかと思っています。また、それらの疑念等々に対する回答として、結果は提示（いわゆる事例系）していても本質を突いている寄稿は少ないなぁ、というのも個人的な感想としてあります。（と言っても、本稿が本質を突いている、ということでは無いのですが。）
なので本稿ではツールベンダーやコンサル視点ではなく、ウェブ運営者側から見た「ABテストをやる理由」たるものを書いてみようと思うのです。あくまで個人的な意見、かつ自社においての場合ではありますが。
早速ですが、例えば、ABテストに対する疑念の一例として、こういうものがあるのではないかと。
例：「細かい変更でもテストやるべき？」
回答として、「やるべき」というのが個人的な見解です。理由はいくつかあるのですが、ザッと挙げると以下のようなものがあります。
a. 「テストしない＝解答の無い問題集を解き続ける」ことと同義である
b. 細かい変更では、ユーザーの「心理」は動かない、大きな成果は出ないということを実感する
c. 大きな成果は出ないが、ノウハウの蓄積と長期的な利益を生む
d. 結果、改善ポイントの選択と集中が可能となり、時間とコストの配分精度が向上する
“a. 「テストしない＝解答の無い問題集を解き続ける」ことと同義である”
「ここの文言、どうすれば良いんだろう？」「レイアウトは縦並びにしようか、横並びにしようか」「バナーが大きすぎるきもするなぁ・・・」「申込みボタンが多すぎてユーザーさんには鬱陶しいんじゃないだろうか？」
なんて悩むシーンは、ウェブ運営者にとっては日常茶飯事だろう。
しかし悩んだ挙句、エイヤっ！で決断を下して実行したとしても、その結果はABテスト無しでは見えないのです。
なんとなくCVRが改善したような気がする？けど、たまたまその時期の外部トレンドの影響かもしれないし、むしろ何もしなければもっと上がったかもしれない、もしかすると改悪した可能性すらある！
ということで、解答無し。ゆえに採点すらできず、結局何が正しいのかが判断つかず、ひたすら暗闇の中をさまよう苦行に出るか、もしくは楽天的な人であれば脳天気な自己満足に浸るのみ、ということになってしまいます。そして解答の無い問題集を解き続けた運営者さんは、奇跡的確率で進学するか、ダメ社員の烙印と共に担当から外され、利益にならない雑務を任されるようになるのです（嘘）。
“b. 細かい変更では、ユーザーの「心理」は動かない、大きな成果は出ないということを実感する”
上記にて、よくあるウェブ担当者の悩み事を羅列してみたのですが、正直なところ挙げたような事項で勘良くベストな選択をしたとしても、一気にCVRが2倍3倍となるわけもなく、良くても再現性の低い5%程度のリフト可能性があれば幸い、というケースがほとんどだと思います。
そう、普通のウェブ担当者や普通のデザイナーさんの悩み事の大部分は、往々にして「悩むほどのものではない」というのが実態だと感じています。
「だからそんなテストやる必要ないよ！」
と言いたくなるのは、百戦錬磨、百発百中、全ての学問を収め、対人の行動をことごとく読みきるウェブマスター・ヨーダ様よろしく、老害の驕り高ぶりというもの。
百聞は一見に如かず。「そんなことは無駄だ」「考える必要無い」「決めの問題だ」、と若いウェブ担当者に言ってしまっては、その担当者は何も得るもの無く成長するも止まってしまいます。そして考えることを止め、漠然と日々の運用業務に没入してしまうことでしょう。
必要なのはそういうことではないんです。むしろウェブ担当者に必要なのは、細かい改修をやるだけでは大きな成果が見込めないと「実感してもらうこと」。そして、有益な作業と些事を切り分ける知恵・ノウハウを「体験」として身につけてもらうことだと思うのです。
その積み重ねが結果として、
“c. 大きな成果は出ないが、ノウハウの蓄積と長期的な利益を生む”
“d. 結果、改善ポイントの選択と集中が可能となり、時間とコストの配分精度が向上する”
ということに繋がっていくと思うのです。
ゆえに私は「細かい変更でもテストやるべきか？」と問われた際には常に
「やるべき！」
と答えているのです。
================================================
最後に。
参考：「細かすぎる改善」で成果はでるのか？CHINTAI社の細かいA/Bテスト事例(前編)
上記の事例について、ちょっとだけ触れようと思います。テーマ的に似てるので。
この事例、数値的に見るとおそらく誤差範囲のものがいくつかあるとは思います。ただ、それ自体はそんなに悪くないと思います。
一点だけ突っ込みたいのが、「文言の変更は”細かすぎる”改善ではないぞ！」ということです。
正直、レイアウトや色彩については、ページ全体とのバランスを考慮する必要があるので、大きな変動は起こりづらいのですが、ワーディングはユーザーの意思に響く「細かくない」改善で、結構数値変わります。これは弊社サイト内でも何度も実証してきた事項なので。
ちなみにこれは記事をディスっているわけじゃなく、単純にこういうノウハウってのも、小さい改善を積み重ねていった結果として身につけられるものなのだ、ということを言いたかっただけです。悪しからず。
さて、次に、ABテストの実施の際に、こういう意見が出ることもあるのではないかと思います。
例：「良くなること分かってるんだからテストなんてしなくていいんじゃない？」
えぇ、もうこれはこの記事「テスト自体はいいことだけど、やらんでもいいテストってあると思う」 に対しての現役ウェブ担当者からのアンサーですよ。
ということで、また次回書きます。今週中に書けたらいいな。
以上。長文につき恐縮。
