无流量时的A/B测试：方向性指南

摘要

低流量着陆页会让传统的A/B测试变得缓慢、昂贵且不可靠。如果你的页面每月只有零星访问量，你会花上数周等待一个结果，而这个结果最终也不会告诉你任何信息。解决办法是改变你的策略：先修复可见的摩擦点，只在流量集中的地方运行测试，并将小样本结果视为方向性线索而非确凿证据。本文将带你进行实用审计、单变量测试策略，以及一个即使没有统计显著性也能产生动力的30天计划。它还会指出一个诚实的权衡：你可能会基于误报采取行动，但你会比等待永远不会到来的数据学得更快。使用对比表来重置你的测试思维，今天就着手执行。

你终于运行了一个测试。你重写了标题，开启了分流，然后等待。两周后，平台显示版本之间存在差距，看起来像是胜利。但样本量极小，置信区间很宽，而你内心深处知道：这不是数据，而是带仪表盘的抛硬币。这就是低流量陷阱。解决办法不是更努力地测试，而是换一种方式测试。

无法解读的测试陷阱

这里的数学问题不是你的错，而是系统的限制。A/B测试通过将受众分成两组并比较他们的行为来运作。只有当每组足够大，使真实差异能从随机噪声中分离出来时，这种比较才有意义。在一个每月只有少量访问的页面上，即使是一个巨大的改进，也可能在你要发布某些内容之前无法达到可信的结果。

根据Optimizely的术语表，A/B测试是一种比较网页或应用的两个版本以确定哪个表现更好的方法。重点在于“确定”。在样本量极小的情况下，你并没有确定任何东西，你只是在猜测，并附带一个置信分数。

这里有令人不安的第一步：停止运行你无法解读的A/B测试。这不是妥协，而是转向。一个无法达到可信显著性的测试是在浪费时间、流量和精力。把测试预算留到你有足够数据的时候。现在，使用不同的策略。

亲眼看看用户离开的原因

对于小网站来说，最大的洞察并不在测试结果中，而在于真实访客的行为。在流量稀少的情况下，你可以观察到来访者中有意义的一部分人。这是大公司都会羡慕的奢侈。好好利用它。

从你的分析工具开始。找出流量最大和流失最严重的页面。然后更深入地：观看会话录制，研究热图，并问近期访客一个诚实的问题：“是什么差点让你放弃购买？”答案会向你展示你无法凭空想象的摩擦点。

这里有一个具体例子。假设一个项目管理工具的着陆页。这个页面从一篇热门博客文章中获得了稳定的访问量。行动号召（CTA）按钮写着“开始免费试用”。你查看会话录制，看到访客滚动到定价部分，然后离开。定价表中有一个名为“团队”的方案，但没有任何内容解释“团队”是什么意思。这种模糊性就是摩擦。你将方案名称改为“小型团队（最多10人）”，并调整了文案。没有分流测试，没有等待期，只是针对可见障碍的修复。

这是保证获胜吗？不是。这是基于直接观察的高置信度修复。当流失的原因是可见的，你不需要对照组来告诉你这是一个问题。你需要的是移除它的勇气。

这是小规模的核心优势。你可以与用户交谈，观察他们的实际行为，并捕捉仪表盘无法量化的东西。在感谢页面上运行一个简短调查，问未转化的用户是什么差点让他们离开。阅读答案，你会发现A/B测试永远无法呈现的模式。人们非常擅长描述问题在哪里，即使他们无法告诉你如何修复。让他们的行为为你指出页面元素，然后用你的判断来修改措辞。

把这当作一项正式任务。留出两小时，关闭邮箱，一条一条地观看原始会话录制。不要快进。当你第二次看到同样的停顿、同样的滚动、同样犹豫的光标时，你就找到了一个模式。模式就是你的证据。单个访客的路径是轶事；几个访客做同样的事情是线索。这条线索比一千行汇总数据更有价值。

把测试放在流量所在处

低流量网站几乎总是有高流量时刻。你不需要在流量稀薄的主页上进行测试。找到人们真正集中的页面或渠道，在那里运行你的实验。

它可以是一个获得大部分广告流量的付费着陆页，也可以是排名第一的博客文章，还可以是发送给大量订阅者的电子邮件活动。测试的位置与测试本身同样重要。如果你在受众太少的地方运行测试，你会看到噪声。如果你在人流密集的地方运行，你就有机会。

让实验与流量密度相匹配。打开率高的欢迎邮件比几乎没有访问的关于页面更适合作为测试环境。由搜索流量驱动的产品页面比无人问津的主页更好。

在启动之前，确认你的分流是真正随机的。有些工具或手动变通方法会意外地将所有移动用户发送到同一个版本。这会在测试开始前就毁掉它。如果你的实验平台处理随机化，信任它，但一天后检查分配情况。如果你手动操作，按小时或按天轮换变体，而不是按访客类型。一致性不如随机性重要。

并且保持假设的狭窄性。不要测试“更好的设计”。只测试一个变量：一个标题、一个优惠、一个字段数量。变化越窄，即使在中等流量下也越容易解读。在决定测试什么时，选择对你核心行动有最大潜在影响的变量，而不是最容易改变的变量。这个A/B测试优先级指南中的框架给出了精确的计算方法。

将结果视为方向性，而非定论

这是一个没人写在便签上的权衡：统计严谨性与速度直接冲突。大多数最佳实践文章假设你两者都能负担。但你做不到。所以你需要一个适合你规模的决策规则。

不要再要求95%的置信度。这个阈值是为有足够流量达到它的团队设计的。相反，将你的低流量测试视为方向性信号。如果一个版本明显领先，并且这一发现与你在录制和调查中看到的一致，你可以谨慎地采取行动。称之为强假设，而不是经过验证的赢家。然后稍后再验证。

以下是并列的心态转变：

	经典A/B测试	低流量实验
起点	“我将证明哪个版本获胜。”	“我将收集关于什么重要的线索。”
决策阈值	95%或更高的置信度	大方向性差距加上定性一致
行动时间	数周或数月	数天
风险水平	低，因为你等待	更高，所以你要稍后验证

这是否意味着你有时会基于误报采取行动？是的。这就是诚实的代价。你接受很小的概率基于噪声行动，以换取更快的学习。另一种选择——等到你有足够流量——意味着一个季度什么都不改变。

诀窍是保护自己免受自身偏见的影响。在看数字之前，写下如果结果接近你会怎么做：你会忽略它。写下如果差距很大且符合预期方向你会怎么做：你会实施，但保留旧版本的记录。如果结果让你惊讶，将其视为进一步研究的提示，而不是结论。这种预注册正是区分方向性决策和猴子按按钮的关键。

“显著”这个词有技术上的含义。在低流量环境下，你还没有达到那种证明。所以改变你的措辞。说“这个方向看起来有希望”或“数据温和地表明”。这种措辞让你对自己和任何审查工作的人保持诚实。要更深入地了解何时结果是真正可信的，请阅读如何解读A/B测试结果而不被噪声误导。

测试实质，而非外表

在小型页面上最常见的时间浪费是测试按钮颜色、字体和间距。这些微小的变化通常只会产生微小的影响。微小的影响需要巨大的样本量才能检测到。你没有这样的样本量。所以停止测试表面功夫，开始测试页面的结构性部分。

产品/服务、价格框架、社会证明、保证、表单长度和核心价值主张文案都是高影响力的变量。放在行动号召旁边的保证会改变感知风险。将许多字段减少到几个的表单会改变完成率。一个明确具体成果而非模糊利益的标题，会改变谁觉得这个页面是为他们而设。这些变化足够大，即使在小样本中也能显示信号。

识别高影响力变量的一种方法是问：“如果访客只读这个页面上的一个关键信息，那应该是什么？”那个关键信息就是你的标题。在接触按钮之前，把你的测试精力花在那里。下一个问题是：“访客最常提出的异议是什么？”那个异议就是你的保证。写一个直接解决它的保证。这些不是设计决策，而是价值决策。

这样想吧：A/B测试是为了优化已经有效的东西。如果你的页面在你提供的内容和访客想要的东西之间存在根本性不匹配，任何测试都无法修复。先修复核心价值，然后再测试。

这是小团队的经典错误：在修复基本转化漏洞之前就匆忙进行测试。最常见的A/B测试错误指南涵盖了其余陷阱，让你避开它们。

你的下一个30天

以下是计划，不需要十步框架。

第一周，审计。打开分析工具，找出你流量最高的页面和流失最严重的环节。观看会话录制。向所有没有购买的人发送调查问卷。按严重程度列出你看到的所有障碍。

第二周，直接修复前三个障碍。不要测试。只需改进文案、布局、表单或核心价值。移除你亲眼确认的摩擦点。

第三周，选择单一最高流量位置，并在那里运行一个受控测试。一个变量。在查看之前定义你的决策规则。让它运行到差距明确或时间用完为止。

第四周，做出决定。如果结果具有方向性并与你的定性证据相符，就实施它。如果结果处于临界点，则将经验教训融入下一次迭代。然后设置下一个测试。

这种方法不会给你清晰的统计确定性。它会给你动力。你会学得更快，更快地发布改进，并养成在运行任何测试之前问“这会教会我什么”的习惯。这个习惯才是真正的转化工具。

当你的流量增长时——一定会增长——你已经知道该测试什么、在哪里测试以及如何解读结果。低流量期不是观望的时候，而是玩不同游戏的时候。把这场游戏玩好，更大的游戏会在那里等待。