📜  A / B测试–面试问题

📅  最后修改于: 2020-12-11 04:44:10             🧑  作者: Mango


A / B测试(也称为拆分测试)定义了一种比较应用程序或网页的两个版本的方法,使您可以确定哪个版本的性能更好。 A / B测试是最简单的方法之一,您可以在其中修改应用程序或网页以创建新版本,然后比较这两个版本以找到转换率。这也让我们知道,这是两者中表现最好的。

样本数取决于执行的测试数。转换率计数称为样本,收集这些样本的过程称为采样。

置信区间称为在多个样本上与平均值的偏差的度量。让我们假设22%的人更喜欢产品A,置信区间为+/- 2%。此间隔表示选择产品A的人员的上限和下限,也称为误差幅度。为了在此平均调查中获得最佳结果,误差范围应尽可能小。

如果有可能使原始变化超过5%,请始终执行A / B测试。测试应运行相当长的时间,以便您应该有足够的样本数据来执行统计和分析。通过A / B测试,您还可以从网页上的现有流量中获得最大收益。

与在网站上设置点击量相比,增加转化次数的费用是最低的。 A / B测试的ROI(投资回报率)非常高,因为网站上的一些小改动可以大大提高转化率。

像A / B测试一样,多变量测试基于相同的机制,但是它比较了更多的变量,并提供了有关这些变量的行为的更多信息。在A / B测试中,您可以在设计的不同版本之间分配页面流量。多变量测试用于衡量每个设计有效性

一次测试多个变量的问题在于,要准确确定其中哪些变量造成了差异是很困难的。虽然你可以说一个网页比其它的更好,如果有每三个或四个变量,你塔卡纳€™吨肯定,为什么这些变量中的一个实际上是损害的页面,也可以复制其他页面上的元素

以下是一些可以在网页上应用的A / B测试版本。列表包括-标题,子标题,图像,文本,CTA文本和按钮,链接,徽章,媒体提及,社交提及,促销和优惠,价格结构,投放选项,付款选项,网站导航和用户界面。

  • 背景研究-A / B测试的第一步是在您的网站上找出跳出率。这可以借助Google Analytics(分析)之类的任何工具来完成。

  • 收集数据-来自Google Analytics(分析)的数据可以帮助您找到访问者的行为。始终建议从站点收集足够的数据。尝试查找转换率较低或掉落率较高的页面,这些页面可以改善。

  • 设置业务目标-下一步是设置转换目标。查找确定该版本是否比原始版本更成功的指标

  • 构造假设-一旦为A / B测试设定了目标和指标,下一步就是寻找想法来改进原始版本以及它们将如何比当前版本更好。有了想法列表后,请根据预期的影响和实施难度对它们进行优先排序

  • 创建变化/假设-市场上有许多A / B测试工具都具有可视化编辑器,可以有效地进行这些更改。成功执行A / B测试的关键决定是选择正确的工具

  • 运行变体-向访问者展示您网站或应用程序的所有变体,并针对每个变体监视其动作。测量并比较每个变体的访问者互动,以确定该变体的执行方式。

  • 分析数据-实验完成后,接下来是分析结果。 A / B测试工具将显示实验数据,并告诉您不同网页的执行方式之间的区别。同样,借助数学方法和统计学,变化之间是否存在显着差异。

最常见的数据收集工具类型包括分析工具,重播工具,调查工具,聊天和电子邮件工具。

重播工具用于更好地了解您网站上的用户操作。它还允许您单击用户点击的地图和热图,并检查用户在网站上浏览的距离。诸如Mouse Flow之类的重播工具可让您以与访客在一起的方式来查看访客的会话

视频重播工具可以更深入地了解访问者浏览您网站上各个页面的情况。最常用的工具是Mouse Flow和Crazyegg

调查工具用于从网站收集定性反馈。这涉及向回访者询问一些调查问题。该调查向他们询问一般性问题,还允许他们输入他们的观点或从预先提供的选择中进行选择。

您可以通过在底部添加更多图像来减少跳出率的数量。您可以添加社交网站的链接,以进一步提高转化率。

可以将不同类型的变体应用于对象,例如使用项目符号,更改关键元素的编号,更改字体和颜色等。市场上有许多A / B测试工具都具有可视化编辑器这些变化有效。成功执行A / B测试的关键决定是选择正确的工具

最常用的工具是Visual Website Optimizer,Google Content Experiments和Optimizely。

Visual Website Optimizer或VWO使您可以测试同一页面的多个版本。它还包含“所见即所得”(WYSIWYG)编辑器,该编辑器使您可以进行更改并运行测试,而无需更改页面的HTML代码。您可以更新标题,元素编号并运行测试,而无需更改IT资源。

要在VWO中为A / B测试创建变体,请在WYSIWYG编辑器中打开您的网页,然后可以对任何网页应用许多更改。这些包括更改文本,更改URL,编辑/编辑HTML,重新排列和移动。

Visual Website Optimizer还提供了一个多变量测试选项,并包含其他数量的工具来执行行为定位,热图,可用性测试等。

这些测试还可以应用于其他几个地方,例如电子邮件,移动应用,PPC和CTA。

实验完成后,接下来是分析结果。 A / B测试工具将显示实验数据,并告诉您该网页的各种变体是如何执行的。它还将显示使用数学方法的变量与统计数据之间是否存在显着差异。

要将Optimizely集成到Universal Google Analytics(分析)中,请首先选择侧面板上的“打开”按钮。然后,您必须具有可用的自定义项,才能使用Optimizely实验数据进行填充

是否将Google Analytics(分析)与Optimizely集成?

通用Google Analytics(分析)跟踪代码必须放在页面部分的底部。除非Optimizely代码段位于Analytics代码段的上方,否则Google Analytics(分析)集成将无法函数运行。

Google Analytics(分析)有两个用于分析数据的选项,即Universal Analytics和Classic Google Analytics(分析)。新的Universal Analytics功能允许您使用20个并发A / B测试将数据发送到Google Analytics(分析),但是Classic版本最多允许5个。

这是一个神话,A / B测试会损害搜索引擎排名,因为它可能被归类为重复内容。可以采用以下四种方法来确保在运行A / B测试时不会丢失潜在的SEO值。

不要掩盖掩盖是指您向Googlebot代理显示网页的一个版本,向网站访问者显示另一个版本。

使用“ rel = canonical” -当您进行具有多个URL的A / B测试时,可以在网页上添加“ rel = canonical”,以向Google指示您要索引哪个URL。 Google建议使用规范元素,而不要使用noindex标记,因为它更符合其意图。

请使用302重定向,而不要使用301重定向-Google建议在临时301重定向上使用临时指导方法-302

不要长时间进行实验-请注意,在完成A / B测试后,您应该尽快删除变体并更改网页,然后开始使用获胜的转化。