A/B测试是一种新兴的网页最佳化方法，可以用于增加转化率注册率等网页指标。AB测试本质上是个分离式组间实验，以前进行AB测试的技术成本和资源成本相对较高，但现在一系列专业的可视化实验工具的出现，AB测试已越来越成为网站最佳化常用的方法。
A/B测试其实是一种“先验”的实验体系，属于预测型结论，与“后验”的归纳性结论差别巨大。A/B测试的目的在于通过科学的实验设计、採样样本代表性、流量分割与小流量测试等方式来获得具有代表性的实验结论，并确信该结论在推广到全部流量可信。
A/B测试如同GitHub、Docker、APM一样在美国市场已经被各类企业逐渐採用，相信在中国也能被广大开发者所接纳，其测试範围也不仅仅局限于网页最佳化，目前移动端的A/B测试需要同时支持前端（Web/H5、iOS、Android）及后端（Node.js、PHP、Java），相对于Web端的A/B测试，移动端的技术难度与複杂度都要高得多。
基本介绍
- 中文名：对照实验、A/B测试
- 外文名：Controlled experiments, A/B tests,A/B testing
- 性质：一种新兴的网页最佳化方法
- 作用：增加转化率注册率等网页指标
简介
A/B 测试，简单来说，就是为同一个目标制定两个方案（比如两个页面），让一部分用户使用 A 方案，另一部分用户使用 B 方案，记录下用户的使用情况，看哪个方案更符合设计。A/B测试已经在Web上得到广泛的套用，也出现了不少的测试工具，Optimizely就是其中之一。
简述A/B Testing
使用A/B 测试首先需要建立一个测试页面（variation page），这个页面可能在标题字型，背景颜色，措辞等方面与原有页面（control page）有所不同，然后将这两个页面以随机的方式同时推送给所有浏览用户。接下来分别统计两个页面的用户转化率，即可清晰的了解到两种设计的优劣。
传统的A/B测试，是一种把各组变数随机分配到特定的单变数处理水平，把一个或多个测试组的表现与控制组相比较，进行测试的方式。
新的A / B测试，不仅仅其範围限制在web分析方面，而是为其注入新生命，即移动设备端分析。Pathmapp联合创始人兼执行长亚当Ceresko表示，今天，开发人员需要大大提高最佳化工具的性能，移动分析已成为A/B测试增长最快的一个领域。
A/B测试的套用举例
用一个电商App的场景作为例子。电商App集成了我们的SDK之后，就可以在AB测试控制台创建很多“测试版本”，每个测试版本可以尝试不同的UI设计和文案。客户可以在控制台管理不同测试版本的试验运行状态、流量分配以及查看详细的数据报告，并选择发布效果更好的测试版本。
拿这个例子来说，假如这个App有100万线上用户，通过控制台可以控制这些用户看到不同的测试版本。假如其中50万用户看到左边版本，产生了10万购买；另外50万用户看到右边版本，产生了40万购买。这个试验数据说明右边版本产生的转化率更高，可以通过控制台将这个版本推广到所有100万用户。
其中最重要的就是产品优势，科技在A/B测试引擎的流量分割方面下了很多功夫，可以儘量保证试验用户流量的代表性和试验数据的準确性，同时支持试验流量动态控制、多变数组合试验、大量并行试验、针对特定人群的定向试验等。
A/B 测试五大测试元素
标题
长标题还是短标题
疑问句还是陈述句
正式语气还是非正式语气
强调卖点 A 还是卖点 B
图片
大图片还是小图片
照片还是绘图
客户还是产品
布局
单列销售信函布局还是多列布局
3页的形式还是1 页的紧凑形式
销售切入点
质量还是便利
功能还是服务
赚钱还是省钱
转换激励
强调免费送货还是退货自由
列出所有的激励措施还是什幺都不列
电话订购转换还是线上表格转换
A/ B测试注意三点：
任何测试都只是手段而非目的
A / B测试不是要让你用最新的技术、最新的软体或者算法，大部分时候一个纸上的原型或者线框里5秒钟的测试都能帮你的网站製作找到方向。好好利用那些简单、低廉的测试方式。
客观对待网站测试过程
不要让你的直觉推翻了测试结果。在A / B测试的结果往往是令人惊讶的或直观的。在一个绿色为主题的网站，一个明显的红色按钮有可能成为赢家。即使红色按钮不容易吸引注意。您要测试的目标是一个更好的转换率，而不是美学。
版本测试应注意样本大小
还有一点需要注意的是，A/B 测试的页面必须有较高的 UV （Unique Visitor，独立访客数），因为分流带有一定的随机性，如果页面 UV 太小，分到每一个版本的人数就更少，结果很有可能被一些偶然因素影响。而 UV 较大时，根据大数定理，我们得到的结果会接近于真实数据。
A/B测试革新
Pathmapp通过结合视觉分析和A / B测试，充分解决移动设备分析需求，一旦手机套用开发者，在手机套用中嵌入新A / B测试的代码，这款套用就能收集用户使用手机进行的每个互动活动，如交流，刷卡等。然后建立这个用户的数据，提供“Heatmapps”（即视觉密度地图），记录用户在哪方面以及与哪些应用程式发生互动。
该平台还通过应用程式，提供视觉显示最常见的路径，以及事故报告。所以，除了日誌转储，Pathmapp可以显示用户点击过的应用程式。Ceresko说，Pathmapp的这个想法源于他成立APPEK的经验，这是一个租用手机应用程式代理平台，Pathmapp的总公司。
Pathmapp用了三年时间，将针对企业和独立开发人员基于Android、iOS和Facebook应用程式的设计和部署大功告成。执行长表示，在经历了一次次的挫折之后，A / B测试工具+视觉分析功能的移动A / B测试工具，功能很强大。
AppAdhoc独创性A/B测试革新
千万量级App用户规模支撑：现在的主要面向是日活上万用户的App，后台可以支撑每日至少千万量级以上的各种App用户发起的试验请求与日誌汇报。
科学的用户分割：使用学习算法将App用户按照日常行为进行分组，保证X%的试验流量(B)具有代表性，与(100-X)%的主流量(A)有可比性。支持多个试验并行运行，也支持多个试验重叠运行。
·準确的试验结果：使用Hadoop实现统计学的算法来处理数据，分析对比试验流量与主流量的结果数据，保证对比结果的置信区间
AB测试的工具介绍
在实际进行AB测试的时候，往往有两种方法，一种是传统的由技术人员製作多个页面，然后通过URL重定向进行分类流量，而另外一种方法是通过专业的AB测试软体。前者需要花费较多的人力物力，而且在数据的分析上也比较麻烦，而后者则无需任何编程技术，基本能通过这些软体自带的编辑器实现。目测主流的测试工具包括：
Google Website Optimizer
搜寻巨头提供的免费A/B测试工具。一个很好的入门级工具，但是没有一些先进的功能。
Visual Website Optimizer
一个易于使用的A / B测试工具，包含功能：如所见即所得的编辑器，单击地图，访问者分割和标籤等。
Unbounce and Performable
集成着陆页设计的A / B测试工具。
Vertster, SiteSpect, Webtrends Optimize and Omniture’s Test&Target
企业级测试工具。
Testin A/B测试
国内A/B测试SaaS服务，2018年11月1日宣布免费，支持多终端。
云眼A/B测试
云眼A/B测试涵盖网站、移动端、全栈（前后端）等AB测试功能,可以验证创意、算法和策略是否符合用户需求,提高转化率和留存率,加速业务增长。