避けているテストこそ、最も必要なテスト

概要

A/Bテストにデータサイエンスチームは不要だし、膨大なトラフィックも、テストカレンダーも必要ない。本当の障害は、ソロマーケターが制約だと勘違いしている、心地よい反論の数々だ。この記事では、最もよくある言い訳（トラフィックがない、時間がない、AIがテストを代替する、直感を信じる、統計が複雑、時期尚早）を一つずつ解体し、それぞれを具体的な行動に変える。今あるリソースでインパクトの高いテストを1つ実行する方法、AIを使うべき時と従来のテストを使うべき時、そして延ばし続けているテストがビジネスに最も必要なテストであることが多い理由を学べる。目標は、悪い実験のリスクよりも、何もしないことのコストを痛感させることだ。

避けているテストこそ、最も必要なテスト

ほとんどのA/Bテストのアドバイスは、すでにA/Bテストを実施している人向けに書かれている。だから、私が本当に役立つことを一つだけ言うなら、こうだ。あなたのビジネスを最も改善するテストは、おそらくあなたが避けているテストだ。なぜなら、それは小さすぎる、不確実すぎる、あるいは知りたくないことを確認してしまいそうだからだ。ソロマーケターがテストツールを開くことさえ妨げる反論は、もっともらしく聞こえるが、それぞれが慎重さを装った隠れたコンバージョン漏れなのだ。

A/Bテストの核心は、意思決定の習慣だ。Optimizelyの用語集にあるように、2つのバージョンのウェブページやアプリを比較して、どちらが優れているかを判断する方法だ。5万ドルのエンタープライズダッシュボードは必要ない。必要なのは、仮説、1つの変数、そして数字に語らせるだけの忍耐力だ。そして、都合の悪い真実は、テストを最も先延ばしにする人々が、そのビジネスが最も恩恵を受ける立場にあることが多いということだ。「A/Bテストの準備はできていない」と言ったことがあるなら、あなたはすでにコンバージョン最適化において最も高くつく決断を下している。

だから、これらの反論にうなずくのはやめて、解体し始めよう。

反論	実際に下している決断
「トラフィックが足りない」	「顧客に投票させない」
「時間がない」	「漏れ放題のファネルでいい、たぶん」
「AIがテストを時代遅れにする」	「顧客についてのデータを持たない機械が、私より顧客をよく知っている」
「直感を信じている」	「ここ3回の直感は正しかった。これは都合のいい記憶ではない」
「技術的に難しすぎる」	「p値は成長率の停滞より怖い」
「まだ時期尚早だ」	「1週間で学ぶより、1年間間違ったものを作り続けるほうを選ぶ」

それぞれについては以下で公平に論じる。だが、公平な審理は公平な評決と同じではない。

「トラフィックが足りない」

月に200回の訪問がある価格ページを考えよう。非常に伝統的な最適化コンサルタントは、その10倍になるまで待つように言うだろう。コンバージョン率の2%の変化を検出するのが目的なら、その通りだ。しかし、ここが重要なポイントだ。あなたは2%の変化を検出しようとしているわけではない。あなたが知りたいのは、馴染みのないバリュープロポジションが現在のものより大幅に良いか悪いかであり、その差は通常大きい。

小さな改善を追い求めるのをやめれば、計算はあなたに有利に働く。コンバージョン率を2倍にする変更（たとえば、製品が実際に何をするのかを明確にする）は、数週間で適度なトラフィックがあれば検出できる。また、ボタンのラベルのようなものをテストする場合、クリック数で「料金を見る」が「始める」を圧倒することに気づくのに、統計的に堅牢なサンプルは必要ないかもしれない。テストを十分な期間実行するだけでよい。

どのくらいの期間が十分なのか？ ほとんどのテストツールにはサンプルサイズ計算機が含まれており、オンラインでスタンドアロンの計算機も見つけることができる。経験則はこうだ。各バリアントで十分なコンバージョン（クリック、サインアップ、購入）を確保すること。単に十分な訪問数ではない。あるページが月200訪問で2%コンバージョンするなら、月に4コンバージョンだけだ。意味のあるパターンが現れるまでにはしばらく待つことになる。しかし、テストしている要素がコアなバリュープロポジションに直接影響する見出しであれば、コンバージョン率の差は15%対5%にもなり得るので、そのパターンは思ったより早く見えてくる。

もうひとつのトラフィックの逃げ道は、ウェブサイトだけが実験の場ではないということだ。メール購読者、有料広告のクリック、ニッチなコミュニティに投稿したリンクでさえ、管理されたオーディエンスを得られる。A/Bテストは、ランディングページだけでなく、メール、製品デザイン、アプリのフローでも同様に機能する。Optimizelyの用語集がテスト可能な要素を列挙する際に指摘している点だ。「トラフィックがない」という反論は、ほとんどの場合、実際には「ホームページへのトラフィックがない」という、はるかに狭い問題だ。

そしてここでAIが実際に役立つ。OptimizelyのAI実験の枠組みによれば、機械学習はトラフィックをリアルタイムでより良いパフォーマンスのバリアントに動的に配分できるため、訪問数の半分を負けそうな方に無駄にする厳密な50/50分割に固執する必要はない。つまり、あなたが持っているトラフィックをより有効活用できるのだ。ソロマーケターにとって、これは「テストは不可能」と「テストは思ったより遅いが、実行可能」の違いだ。

実践的な対抗策：ビジネスにとって重要な成功指標を1つ定義し、その指標を実質的に変えられる要素を1つ選び、ツールが提案するサンプルに基づいて一定日数テストを実行することを決める。いつ止めるかを知るための詳細な枠組みは、まさにこちらの記事 A/Bテスト中止判断フレームワーク にあります。

「時間がない」

本当の問題は時間ではなく、仮説検証の習慣を身につけていないことだ。それはプログラムではなく、小さな習慣だ。テストカレンダーも、ロードマップも、「実験バックログ」も必要ない。あなたが本当に気にかけているボトルネックについての1つの仮説が必要なだけだ。

時間の計算の例を挙げよう。サインアップフォームに7つのフィールドがあり、それが完了率を下げていると疑っているとする。仮説は、4つのフィールドを削除するとサインアップが増えるというものだ。フォームのバリアントを編集できるツールを使えば、テストのセットアップには約15分かかる。その後は待つだけだ。実行中は、毎日2分間結果を眺めるか、ツールが通知してくれるなら0分でよい。実際の「作業」は、仮説と指標を明確にするのに使う5分だ。

A/Bテストツールは分析も自動で行ってくれる。有意性を計算し、いつ止めるべきかを提案し、結果を記録してくれる。昔は統計出力を解析するのが大きな時間の無駄だったが、現在ではほとんどのプラットフォームが自動化している。もし今でも手動でスプレッドシートを使っているなら、やりすぎだ。

より大きな論点は、「時間がない」という反論は、実際には費用便益の反論を装ったものだということだ。テストをしないことのコストは、検証されていない仮定を展開し続けることだ。テストされないままの推測は、オッズのない賭けだ。月に1時間をテストに使うことは、時間への課税ではなく、いずれにせよ下すであろう決断へのリターンだ。

そして、それを継続させるためのコツがある。すでにやっていることとテストを結びつけるのだ。毎週月曜日の朝にGoogleアナリティクスを確認しているなら、その時間に5分間の「テスト確認」タスクを追加しよう。毎月ニュースレターを書いているなら、「テスト中のもの」についての1行を含めて、仮説を明確にするよう自分に課そう。習慣は既存のルーティンに付着するので、別のプロジェクトのように感じられない。

シンプルな優先順位付けから始めよう。四半期に1回のテストでも、大多数の小規模チームより先を行ける。選択肢に圧倒されているなら、実際に重要なテストを優先する方法を学ぶのが最初に身につけるべきスキルだ。ただし、分析麻痺で適当に選ぶだけにならないように。

「AIがA/Bテストを時代遅れにする」

確かに、AIはテストの仕組みを変えつつある。しかし「AIがA/Bテストを置き換える」というのは、決してなくならない部分、すなわち経験的な意思決定を避けるための最新の方法にすぎない。AI実験が実際に何であるかを正確に理解しよう。誇張が現実を追い越しているからだ。

AIを活用したA/Bテストは、機械学習を使ってバリアントを生成し、各バリアントに送るトラフィック量を決定し、結果をリアルタイムで分析する。これは本当に有用だ。実験を実行するための、より速く、より適応的な方法だ。AI実験に関する研究（Optimizely自身のドキュメントを含む）は、これを古典的な方法のアップグレードと説明しており、置き換えではない。機械が反復的な部分を引き受ける：テストバリアントの生成、データ分析の実行、さらには次に何をテストすべきかのパフォーマンスベースの優先順位付けの自動化。これらはすべて価値がある。

しかし、誇張が教えてくれない落とし穴がある。機械は顧客の文脈、悩み、午後11時にあなたのページにたどり着いた理由を知らない。ビジネス上の問いを定義するのは依然としてあなたの仕事だ。AI実験は、あなたが与える問いの質と同じだけの価値しかない。そして、アルゴリズムはどちらのバリアントが勝ったかを教えてくれるが、なぜそのバリアントが勝ったのかは教えてくれない。「なぜ」を理解してこそ、その洞察をサイト全体に広げられるのだ。

したがって、ここでの逆張りの立場は「AIは悪い」ではない。「AIはテストの中のツールであり、テストの代わりではない」ということだ。「AIが最もよく知っているからテストは不要だ」とベンダーが主張するのを聞いたら、「サンプルが代表的で、指標が意味のあるものであれば、AIが最もよく知っている」と読み替えよう。それは依然としてテストだ。AIがA/Bテストを置き換えると言う人々は、魔法の杖を売っている。AI実験を構築する人々は、より精度の高いテストを売っている。その違いは重要だ。

実践的には、AIに重い作業を任せるべきだ。新しいバリアントの生成、学習に基づく次のテストの提案、トラフィックの動的配分を任せよう。しかし、実験者であるのはあなただ。より完全な比較については、従来のA/BテストとAI実験の詳細な比較をご覧ください。

「顧客をよく知っている」

コンバージョン最適化で最も危険な言葉は「当社の顧客は特殊だ」だ。すべての創業者がこれを信じており、すべての創業者が部分的には正しい。しかし「部分的に正しい」は成長戦略の良い根拠にはならない。

直感に頼ったときに実際に起こることはこうだ。変更を加え、指標が動く（または動かない）、そしてそれを中心に物語を紡ぐ。ボタンの色の変更が「正しい」と感じられ、サインアップが増えたなら、その原因を色のせいにする。実際には、あなたは一度に3つのことを変更しており、本当に効いていたのはテストしなかった見出しだった。CROの中核原則の1つ（WordStreamのコンバージョン率最適化ガイドで強調されている）は、実際に何が効果をもたらしているのかを見るために変数を分離すべきだというものだ。あなたの直感はそれができない。ただ見たいパターンを覚えているだけだ。

A/Bテストが重要なのは、変数を分離するからだ。1つのことを変え、効果を測定し、顧客についての明確な真実を学ぶ。あなたの直感は優れた仮説生成器だ。「顧客はフォームで躊躇している」と教えてくれる。テストはそれが実際に正しいかどうかを教えてくれる。

例えば、あなたの直感が「当社の顧客は価格に敏感なので、価格を前面に出すべきだ」と言っているとしよう。価格を前面に出したランディングページと、成果を前面に出したランディングページの2つのバージョンをテストすれば、明確な答えが得られる。成果バージョンの方が質の高いリードを獲得できることがわかり、あなたの直感は自分のスプレッドシート不安というレンズを通して世界を見ていたことに気づくかもしれない。あるいは直感が確認されるだろう。いずれにせよ、信念を事実に置き換えたことになる。

「顧客をよく知っている」ことには、より深いコストがある。それはスケールしないのだ。ソロマーケターの場合、直感は頭の中にある。コピーライター、デザイナー、エージェンシー、あるいは文脈を忘れてしまった将来の自分を迎え入れた瞬間、その直感は消えてしまう。一方、文書化されたテスト結果は永久的な資産だ。チーム（または将来の自分）に、何を学んだか、どのオーディエンスから、どのページで、どの程度の確信度で学んだかを正確に伝える。だからこそ、学びを文書化することはA/Bテストの中核的なベストプラクティスであり、単にアーカイブ用のあればいいものではない。

実践的な行動：行動に移そうとしているすべての直感について、それを仮説として書き出そう。そして、最もレバレッジが効くものを1つ選び、テストを実行しよう。それがCROを意見として扱うことと、規律として扱うことの違いだ。

「統計が難しすぎる」

必要な統計はこれだけだ。目標を定義し、1つのことを変更し、テストを十分な期間実行し、ツールに有意性を計算させる。これは単純化しすぎではない。ソロマーケターにとってはこれがすべてだ。

統計パニックについて率直に言おう。「p値」「検出力」「信頼区間」といった言葉に、人々は目を泳がせる。しかし、ここに秘密がある。ツールはすでに統計処理を行っている。あなたの仕事はいくつかのルールに従うことであり、カイ二乗を手計算することではない。

ルールはシンプルで、ベストプラクティスの教科書にそのまま載っているものだ。明確な目標を設定し、一度に1つの変数をテストし、統計的有意性のために十分なサンプルサイズとテスト期間を確保し、学んだことを文書化する。この4つのルールを守れば、「グロースエキスパート」を名乗る多くの人々よりすでに先を行っている。

ソロテストにおける最大の統計上の罪は、信頼区間の誤解ではなく、のぞき見だ。3日後にテストを確認し、20%の向上を見て、早期に停止する。ツールはまだ有意ではないと教えてくれるが、「それで正しい気がする」からとにかく止めてしまう。こうして偽陽性が生まれる。サンプルサイズと期間のガイダンスが存在するのはそのためだ。名前に値するテストツールは、早期停止に対して常に警告を発するだろう。

より大きなリスクは統計的無知ではなく、「統計劇場」だ。テストの設計が悪く、サンプルが小さすぎ、チームがノイズの中に有意性を読み取る。だからこそ、A/Bテストの結果を正しく解釈するに関する記事には、少しの規律で避けられる罠が満載なのだ。

次に誰かが「テストを実行するにはデータサイエンティストが必要だ」と言ったら、その「データサイエンティスト」とは、すべてを計算してくれるツールを片手にキッチンテーブルに座っているあなた自身だということを思い出そう。あなたが問い、変数、忍耐をもたらす。ツールが数学をもたらす。博士号は必要ない。プロセスが必要なのだ。

「まだ時期尚早だ」

まだ収益が出ていない、またはソロの場合、テストは「成功した後」に行うものだと思いがちだ。しかし、その逆が真実だ。A/Bテストは、不確実性が最も高いときに最も価値がある。その段階でテストすべきなのは、マイクロCTAではなく、コアバリュープロポジションそのものだ。

あなたが売り込み文を載せたシンプルなランディングページを作ったとしよう。2つの候補の見出しがある：「フリーランスの収入を追跡する最もシンプルな方法」と「来月の収入を正確に把握しよう」。どちらがより多くのメールサインアップやクリックを獲得するかを見るのに、膨大なトラフィックは必要ない。そしてその答えは、間違ったフックの周りにメッセージを構築する数ヶ月を節約してくれる。

初期段階のテストは、人々がなぜ購入するのかという仮定を明確にすることを強制する。それは苦しいが、1年間間違った製品メッセージを構築してから発見するよりは安い。WordStreamのCROテクニックのリストには、フォームの摩擦を減らすことや、社会的証明と信頼シグナルを活用することが含まれており、どちらも始めたばかりのとき特に効果的だ。適切に配置された1つのお客様の声、または7つのフィールドの代わりに3つのフィールドのフォームが、サインアップと直帰の違いを生むかもしれない。

行動：メールリストをエクスポートし、シンプルなツールで2つのランディングページバリアントを作成し、リストの半分ずつに送る。あるいはさらにシンプルに、異なる見出しで2つの広告バリエーションを配信する。それはテストであり、高くつかない。A/Bテストの研究は、それが恐れて触れないホームページだけでなく、メール、アプリ、ユーザーフローにも適用できることを確認している。

さらに、初期のテストには「不公平な利点」がある。小さなサンプルは弱点ではなく、シグナルだ。小規模で熱心なオーディエンスであれば、応答のわずかな差でも注目に値する。なぜなら、そのオーディエンスはしばしば最もフィットする顧客だからだ。このような環境で1%の向上を求めているのではない。方向性の指標を求めているのだ。キーワードは「証明」ではなく「兆候」だ。それでいい。推測よりはましだ。

待つのをやめて、テストを始めよう

すべての反論の背後にあるパターンはこうだ。それらはすべて、異なる帽子をかぶった同じ恐怖だ。テストが失敗するのではないか、時間を無駄にするのではないか、数字が何か不快なことを教えるのではないかという恐怖。しかし、本当の失敗は推測し続けることだけだ。

脱出のロードマップは短い。1つのページ、1つの要素、1つの指標を選ぶ。仮説を書く。バリアントを定義する。ツールが提案する期間テストを実行する。「統計的に有意な差なし」でも結果を記録する（それも結果だ）。そして次のテストを決める。

テストの最も満足できる結果の1つは、この規律が複利的に効くことだ。それぞれのテストは、記事もアドバイザーもAIモデルも与えてくれない顧客についてのデータポイントを与えてくれる。それはあなた固有の文脈から来ているからだ。数回テストすれば、より速く、より自信を持って決断できるようになる。推測ではなく、自分自身で作った証拠の集積を参照しているからだ。

やがて、このプロセスはあなたのマーケティングを一連の意見から一連の実験へと変える。そして素晴らしいのは、一度始めれば、なぜ待っていたのか不思議に思うだろう。あなたが避けているテストは、おそらくあなたの製品が共感を呼ぶかどうかを教えてくれるものだ。避け続けることもできるが、顧客に真実を語らせることもできる。