A/B测试：帮你搞定“两难”选择
A/B测试我们之前提到过多次，本节专门来聊聊它。
A/B测试也叫“拆分测试”、“水桶测试”或“多变量测试”，它是比较同一页面、功能或产品的两种或更多方案中哪一种更好的方法。将不同的方案展示给几组不同的用户，并持续跟进转化率等关键数据，就可以让你知道哪一种方案的效果更好。
1 A/B测试的用途和优点
A/B测试不仅能测试网站、网页应用、App等产品，而且对桌面应用、甚至是硬件也同样适用。
以无人机为例，你可以收集无人机在飞行期间的一些数据：使用频率、飞行高度、撞击、故障等，并将数据与其他无人机进行对比。你还可以询问使用两个版本无人机的人，将两个版本进行对比，确定接下来的行动，例如购买附件、成为付费会员享受维修服务、成为无人机社区的会员等等。
与网购相似，在实体店里你也可以看看店铺的布置和不同商品销量的关系、购物篮的平均价格等。
对于成品软件，你可以在后台收集用户的各种关键使用数据，通过查看数据，就能比较不同版本软件的使用情况。
创造性地设计制作追踪工具、并对它们进行比较，可以让你将A/B测试应用于非数字产品、功能和设计。
A/B测试是一种有效的用户研究方法，它有如下几个好处：
- 了解用户：实验最直接的好处，就是可以从真实的用户行为中获得信息。A/B测试提供一种基于证据的设计方法，不仅可以让你选择出一个最棒的设计方案，而且可以让你更好地了解你的用户，例如是什么让他们离不开你的产品、他们更喜欢什么、他们会避免什么等。
- 保持产品的发展动力：通过验证来提高——更高的转化率、更多的注册人数、更高的收入、更好的沟通、更棒的设计。当你的目标是了解哪个设计方案对你的用户来说更实用时,A/B测试是一个极好的选择。它以直接追踪用户的行为为基础，有着明确的数据结果，可以极具说服力地显示出哪个设计方案可以产生更好的结果。
- 建立共识：你不是乔布斯，你永远都不会知道哪个设计或产品决策是正确的。A/B测试可以作为做出决策和验证猜想的工具。当团队面临选择时，A/B测试十分有用，可以帮助你做出决策，或验证已作出的决策。
2 A/B测试的适用场景
A/B测试特别适用于以下几种情形：
- 需要在几种设计方案中进行选择：当你需要对比多个设计方案，并决定哪一个方案优于其他方案的时候。例如，当你想要知道三个页面设计方案中哪一个可以更好地同时满足用户需求和自己的商业目标。
- 更好地了解用户的喜好：例如，当你计划对产品进行重新设计、并且想要知道怎样才能触发用户的兴奋点的时候。了解用户喜欢什么有助于你对未来的设计进行决策。
- 与现有方案进行对比：当你想要测试对现有设计的改变，确定哪些会产生积极的效果时。例如，你想要知道某个操作按钮标签是否会比现在使用的标签更能提升转化率的时候。
- 对比之前的版本：当你想要对产品之前的不同的版本进行对比时。例如，当你想知道产品的3.0版本是否优于2.0版本的时候。
- 比较基准：当你想要把你的产品与你的竞争对手的产品进行对比时。例如，当你发现你有一个竞争对手，你想知道对用户来说你的产品是不是更好用的时候。
只有当你有几个设计方案可以向用户展示时，你可以通过A/B测试回答“哪种设计方案可以得到更好的结果”这样的问题。
你需要通过真实的代码、落地的设计来进行A/B测试。这对一些小修小改的方案来说可能十分容易，但是对一个全新的设计来说，可能就是一笔巨大的投资了。也就是说，甚至在制定产品战略时，你可以通过对比竞争对手们的设计、产品和元素来进行A/B测试。例如，你可以问自己， 两个竞争对手的信息载入设计哪一个更好。你得到的答案能够帮助你产生出一个良好的信息载入设计。
但进行A/B测试的最佳时机是，已经有了几个设计方案需要比较和测试的实施及评估阶段。
例如，你想要测试并了解在某个版本中是什么因素提高了某个转化漏斗中的转化率。转化漏斗是一个进行持续的过程，能够帮助你达到最终目标的行动路线。
3 A/B测试的一般步骤
进行A/B测试时，一般需要开展以下工作。
决定需要进行对比的内容。
虽然理论上你可以对比任何东西，但你应该重点考虑未知的、高风险的问题。另外，如果产品的两个版本变化很大，则不适合使用A/B测试。价格也不适合使用A/B测试来对比。
用A/B测试来对比页面、任务、功能或者其他的页面元素。
典型的A/B测试需要创造两个页面、任务或功能，分别展现给不同的用户，同时监控某个特定的指标或结果，以了解哪个方案更好。
根据需要，你也可以比较三个以上的方案，也就是“多变量测试”。
招募参与研究的用户。
一般使用在线招募方法。
评估一下当前是否是进行测试的好时机。
当所有变量处于平等的基础时，是A/B测试的最好时机。也就是说，你只能把一个苹果与另一个苹果对比，把一个产品的安卓版本与苹果版本对比，而不能把已上线的苹果版本与功能原型的安卓版本对比。
确定什么是可操作的结果。
“可操作的结果”，是指实验结果能够指导你下一步的动作。例如，含有高质量照片的页面与只有高质量照片的页面相比，前者转化率明显高于后者，你就得到明确可操作的设计元素。
选择工具、配置测试环境并发起测试。
有的测试工具是傻瓜式的，有的则要求你能够编码；有的工具只能测试网站页面，有的则可以进行苹果和安卓的原生App测试。
在选择工具时，需要根据需要跟踪的指标、工具与待评价方案的匹配度以及持续时长或工作量、工具性价比等因素来考虑。
停止测试。
当测试结果显现出统计学意义时，可以停止测试。
理解测试结果。
根据A/B测试工具提供的分析，理解测试结果。可能是原始数据，也可能是可视化图表，但需要达成期望的研究目标。
弄清楚“为什么”而不是只知道“是什么”。
A/B测试的缺点是，只能告诉你发生了什么，不能告诉你为什么发生。为了理解测试结果的“为什么”，你需要进行思考和假设，进而再对假设进行测试。
做出决定。
如果通过A/B测试获得了清晰、明确的答案，你就可以做出决策，选取获胜方案。如果测试数据持平、尚未得到结果，你就需要继续测试，直到出现明确结果、或决定终止测试。
决定下一步要测试什么。
A/B测试是起点，而不是终点。如果这次测试的是某个元素，下一次可能是该元素与其他元素的组合。
小结
本节我们专门介绍了A/B测试，包括以下内容：
- A/B测试的用用途和优点；
- A/B测试的适用场景；
- A/B测试的一般步骤。
