A/Bテストの難しさ
いま関わっているプロジェクトで、「A/Bテスト」を実施中なのですが、なかなか難しいですね。A/Bテストでは、一部分だけ変えたページをAとBの一組作って、同じアクセス数を振り分けます。AとBのどちらが成約率が高いか計測し、勝ったほうを残して、負けたほうは改善。これを繰り返すことで、さらに成約率を上げていく手法です。
一定のアクセス数（最低で各300アクセス、できれば各700アクセスと言われます）が必要なので、時間か広告費が必要です。今回は広告費を投入して、早めに結果が出るようにしたのですが…AパターンとBパターンの成約率がどちらもとても低いことが明らかになりそうです…。部分的な変更では対応できず、抜本的に作り替えないとダメっぽい。
では、これは意味がなかったのでしょうか？
失敗は失敗なんですけども。「このままでは成果が出ない」という知見が得られたわけで、無駄ではないです。失敗だってわかって放置してたらそれは大いなるムダです。改善してこそ意味がある。小さな会社のホームページでありがちなことって、実はこれ。成果が出てないのに放置している。
一回で予想通りの成果が出ることはまずありません。継続的な改善が必要なのです。