ABテストって聞いたことありますか？
オウンドメディアの開発・運用にあたって、ABテストは簡単かつ迅速に実行できる改善方法です。
PDCAサイクルを回すたびにコンテンツが充実する。ユーザーインターフェースを向上させて、「便利だな」「見やすいな」を実現しましょう！
この記事では、ABテストの意味、やり方、メリット・デメリットを解説していきます。グロースハックの未経験者でも簡単に実践できる手法なので活用してみてください！
ABテストとは？
ABテストとは、共通の目的を実現する2つの選択肢を比較して、どちらがよいのかを検証することをいいます。「スプリットテスト」や「スプリットランテスト」とも呼ぶことがあります。
質を保障するために守るルールとやり方
ABテストを実行するときに、質を保障するために守るべきルールがあります。
ルール１ 同じ環境でテストする
AとBを比較する際に、両者のテスト環境が統一されていないと正当な結果を得られないので気をつけましょう！
例えば、「Aの水とBの水のどちらが美味しいのか？」というテストを行うときに、Aの水を喉が渇いているグループに、Bの水を喉が潤っているグループに飲ませてしまうと、「水の美味しさ」それ自体を評価できません。
仮に、Aの水が美味しいという結果が出ても、「喉が渇いているから美味しかったのではないか？」という疑問が残ってしまいます。
そのため、ABテストは同じ環境で実施することが絶対です。
外部要因を完全に排除できない場合でも、選択肢の結果として説明できる条件設定を心がけましょう。
ルール２ １テスト１アイディアの検証
ABテストは原因と結果をシンプルかつ迅速に検証する方法です。
そのため、1テスト1アイディアの検証が原則となります。
複数の因果関係を1回のテストで検証する場合には、条件の定義が複雑化するため、結論を簡単に出すことはできません。
これは「多変量テスト」と呼ばれており、比較する対象が増える分だけ検証コストが高くなります。
ABテストは、原因と結果の関係を単純に説明できる方法論です。
「Aが良いのはXだから、Bが良いのはYだから」または「AをしたらOという結果になった、BをしたらPという結果になった」というシンプルな結論であるほど素早い決断を行うことができます。
ABテストのやり方
それでは、実際にPENDELIONのウェブページを例に挙げて、ABテストをしてみましょう！
ABテストはシンプルな比較にこそ強みがあり、難しく考える必要はありません。以下の手順でABテスト案をつくってみましょう！
- 何のためにABテストをするのか？：目的の設定
- 何をABテストするのか？：内容の設定
- どういう条件でABテストするのか？：環境の設定
- トップページのメニュー配置を最適化する
- A案とB案を比較する（※下記参照）
- １週間ずつ運用してページの回遊率を比較する
【A案：ヘッダー画像の下にメニューバー】
【B案：ヘッダー画像の上にメニューバー】
一見すると差がないように思いますが、A案と比べてB案はカテゴリーのアイキャッチ画像とメニューバーの間が開いています。
A案とB案のどちらが快適なのでしょうか？
このとき、運営者側で答えを予想したうえで検証することをおすすめします。それによって、思考と実態のギャップを評価することができます。
例えば、PENDELION編集部では、どのようなサイトであっても、一番上が一番目立つはずだから、B案の方がサイト内の回遊が活発になると仮定したとしましょう。
A案で1週間、B案で1週間でサイトを運営した結果、メニューバーの回遊数を比較してみると次のようになりました。
※数字は５刻みで切り上げ・切り下げしています。
【A案：アクセス数約７０件】
- ホーム：30/70
- PENDELION：50/70
- サービス：30/70
- 専属ライター：30/70
- 問い合わせ：10/70
【B案：アクセス数約８０件】
- ホーム：５/80
- PENDELION：30/80
- サービス：15/80
- 専属ライター：15/80
- 問い合わせ：5/80
以上の結果から、A案の方が回遊率が高いことが証明されたので、サイトのデザインはA案に決定するというのが「ABテスト」の判断です。
その後、「なぜB案はだめだったのか」を考えてみましょう。
ユーザーの視点をアイキャッチ画像とメニューバーで上下に散らせるのは、余計な動作になるので離脱率が高まったのではないか。
クリックするコンテンツの距離は遠すぎないほうが回遊しやすいのではないか……など。
これらの仮説を次のABテストに反映しながら、サイトを最適化することで、ユーザーに利用しやすいデザインを構築できるようになります。
ABテストのメリットとデメリット
ウェブサイトの開発及び運用でABテストを利用する際のメリットとデメリットについて簡単に整理しておきます。
メリット１ 予算が少なくても実行できる
ABテストはサイト全体ではなく、一部のコンテンツを対象とするので、予算が少なくても実行可能です。
サイトの配置・色・文書などの細かい内容を比較するレベルなら、1人でも準備できるので人件費も最低限度で済みます。
メリット２ 工数が少ないからカンタン！
ABテストは1テスト1アイディアなので、複雑な因果関係を検証するわけではありません。したがって、工数も少なく簡単に実行できます。
先ほどの例でいえば、工数は５つで完結します。
- 目的を設定する
- A案とB案を設定する
- テスト環境を設定する
- テストを開始する
- テストの結果を比較して採用案を決定する
ABテストという言葉だけ聞くとイメージしづらいのですが、実際の工程はシンプルですので苦手意識を持たずに、やってみることをおすすめします。
メリット３ あっという間に意思決定できる
ABテストは二者択一の検証ですから、迅速な意思決定が可能になります。
とはいえ、二つのものを単純に比較するだけではなく、「何を二者択一として検証すべきなのか？」といった前提を入念に考えておく必要があります。
デメリット１ テスト結果が曖昧な場合がある
ABテストは仮説として設定した選択肢に依存しています。
結果として「どちらかが良い」と分かったとしても、あくまでも設定した選択肢のうちの一つに過ぎないのでベストなものとは限りません！
デメリット２ テスト環境がユーザーに依存する
ABテストでは、それぞれの選択肢に応じて仕様を変更してモニタリングを実行します。
リアルデータを観測するには、一定期間内に訪れるユーザーの行動から結果を検証することになります。
ただ、バラつきを避けづらい環境でもあるので、データとして正確さに欠けるといったことが懸念されます。
したがって、PV数が安定しているサイトで実施すべき、という制約があるといえます。
デメリット３ １テスト１アイディアの検証が鉄則
ABテストは１テスト１アイディアの検証が鉄則です。
そのため、サイト全体を改善するなどの大規模な修正を検討するには不向きです。
この点に関しては、１テストで複数のアイディアを検証する「多変量テスト」が有効になると考えれます。
相性の良い分野
ここではオウンドメディアの開発・運用に限定して、ABテストと相性の良い分野を一覧表にしてみました。
ABテストでグロースハック！
ABテストは、ユーザーにとって便利なサイト構築を検証する簡単な手法です。
グロースハックを実現する具体的な方法論としても活用されています。
回数を経るごとにコンテンツが充実していくので、みなさんもぜひ、活用してみてください！
https://pendelion.com/growth-hack