文/吴宁川

最近，前工程师覃超一篇关于2010年到2015年改版网站首页历程的文章受到极大关注。按照他的记录，2012年，当时的产品副总裁带领一支公司内部顶尖高手组成的团队，历时大半年开发了新的网站首页，进行了重大的改版与更新。随后，对该首页进行了A/B测试：当测试到5%用户群的时候，各项数据指标都在下滑；当测试到12%用户群的时候，下滑趋势依旧明显。于是，不得不放弃了这支30余人团队近一年努力的结果。

A/B测试是个什么鬼？

A/B测试已经是一项成熟的测试、开发方法，被的开发团队普遍采用。业内人士告诉记者，广告产品的每一个新改动也要经过一种严格的在线测试来验证效果，在确保搜索体验的同时提高广告的转化率，这种基于数据的互联网产品开发和运营，可以大幅度加速创新、改善用户体验，起到事半功倍的效果。前广告质量控制部门工程师王晔介绍，A/B测试优化每年能为带来100亿美元营收的增长。

简单来说，A/B测试就是对一个页面的A版本和B版本进行测试，统计哪个版本的点击率更高。最为常见的A/B测试形式叫做灰度测试，也就是对一个公司自有的互联网用户群进行1%、2%、5%、10%等规模的用户测试，然后选择测试效果最好的页面推广到全用户群。

实际上几乎所有成功的互联网公司，都不同程度地采用了A/B测试，用于网页的优化与点击率效果提升。王晔介绍说，Google的各个产品都有成百上千个不同的测试版本同时运行，试验数据决定了只有少数改动能最终上线，这些更好的改动可实现每月约2%的营收提升，最终达到20%的年化增长。

而Facebook的经历，更充分说明了在互联网的世界里没有常胜将军，经验与直觉都不是互联网世界的游戏规则。只有通过不断的测试和反复的数据分析，才能证明一个观点或判断是否正确。从Facebook的例子就可以看出，唯快不破和不断试错的背后，其实是“数据说话”的思维，A/B测试就是一个让数据说话的利器。

技术支撑与数据思维的跨界

A/B测试听起来很简单，但其实是技术支撑和数据思维相结合的跨界领域。

记者在硅谷采访了美国A/B测试创业公司Optimizely的产品经理ByronJones，他介绍了A/B测试通用的五步法：分析、假设、构建测试、运行测试、效果评估。其中，分析、假设和构建测试属于数据分析阶段，运行测试及效果评估属于技术支撑范畴，这二者相互配合、相辅相承。

在数据分析方面，A/B测试主要对采样用户群进行数学假设：根据统计学原理与算法，找出最具有统计意义的采样用户群特点、规模、实验组数和次数等。在技术支撑方面，A/B测试主要基于大规模互联网流量分割技术，不同的网页针对不同的用户群进行划分，然后通过服务器和网络控制完成流量分割，达到向不同用户传送不同网页的目的。

在数据分析方面，还有一个非常有意思的辛普森悖论。形象的说，就是当向50%的女性用户推行某个促销手段时，销售获得了增加；当向50%的男性用户推行同样的促销手段时，销售也获得了增加；但当把这两个人群合并，再推行一样的促销手段时，销售反而下降了。因此，需要通过相关数学处理算法，尽量消除辛普森悖论。

A/B测试云服务，已成一个垂直创业方向

互联网公司的A/B测试大多都由内部团队负责，以Google为代表的规模化和专业化A/B测试逐渐成熟。随着互联网的高速发展，越来越多的企业需要开展互联网服务，全部采用自建A/B测试团队显然成本很高，于是就出现了基于SaaS模式的第三方专业化A/B测试公司。

有Google工程师背景的两个团队，分别都在做类似的服务类创业公司：其中一个，在美国创建了Optimizely公司，目前已经完成了C轮融资，公司成立五年来总共完成了1.45亿美元的融资。Optimizely的投资人包括著名的硅谷风投A16Z、BainCapitalVentures、SalesforceVentures等，该公司现有400多名员工，业务发展非常迅猛。

而另一个团队则回到中国，在去年创建了吆喝科技，这就是王晔的团队。王晔曾在清华和耶鲁读书的时候，参与过中国下一代互联网（CNGI）和网络APP流量优化（ALTO）等大型项目，在耶鲁、微软研究院以及NEC北美实验室参与过多项技术创新课题。2012年到2014年，王晔在美国Google总部的广告质量控制部门工作。2014年，他看到了国内互联网+的热潮后决定回国创业，把成熟的A/B测试技术以公有云的方式提供给国内企业和开发者。

吆喝科技的产品叫做AppAdhocOptimizer，这是基于A/B测试的优化平台，于2015年4月全面上线，目前已经有100多家试用客户。吆喝科技支持试验流量动态控制、多变量组合试验、大量并行试验、针对特定人群的定向试验等，其SDK不仅支持Web（HTML5）端A/B测试，还支持原生移动APP（iOS、Android）端。吆喝科技目前的投资机构包括峰瑞资本、极客邦等。

2016年将成为互联网+行动的关键之年，无论传统企业的互联网服务，还是众多的O2O和电商创业公司，都可以通过A/B测试这样的专业工具，研究在线用户行为、提高运营效率，避免经验主义和直觉式思维的陷阱。

相关阅读