点击注册
点击注册
.
.

6个要点打造有效的AB测试

发布日期:2022-04-06 21:29    点击次数:163

6个要点打造有效的AB测试

管理者十分看重市场营销的价值,花费大量的精力投入到A/B测试的研究中,但是收效甚微。究竟是什么原因导致了一场垃圾A/B测试,我们又该如何改进呢,看看笔者是怎么说的吧。



在这个以数字为先的广告世界,许多领导者都渴望将营销、市场作为一门科学来管理。于是,他们用精确、测量、数据这些科学的字眼来说话,他们聘请专业人士,他们教团队用结构化的实验来验证他们的假设……


然而,除了十分专业的产品经理以外,大多数人并不知道如何用科学、正面的方法论去研究A/B测试的问题,尽管他们进行了所有“成功”的A/B测试,但对于具体的业务指标并没有多大改善。


为什么会这样呢?相关人员到底在A/B测试中学到什么?


我认为,从市场营销的角度来谈,在设计一轮A/B测试时,必须要记住以下六个要点:


一、统计显著性


虽然这几个字看上去毫无趣味,但大多数营销人员不能正确定义统计的意义。


当我们开始一个A/B测试——“我正在测试的广告之间没有性能差异。”


然后,我们运行测试并收集数据,我们希望这些数据将反馈给我们信息,并得出相反的结论,即存在性能差异。


但从技术上讲,问题是——“假设最初的假设成立,任何性能上的差异都是由随机因素造成的,那么能观察到实际差异的可能性有多大?”


所以,计算p值很棘手,但需要理解的重要一点是:p值越低,我们就越有信心得出我们测试的广告之间存在真正差异的结论。具体地说,p值为0.05意味着有5%的可能性,观察到的性能差异将由于纯粹的随机因素而产生。


然而重要的是,要学会理解这只是一个社会惯例所使用的标签而已。在一个数据匮乏、没有电脑的时代,这可以说是一个合理的标准,但在今天的世界,它可能已经被打破了。


二、统计显著性≠实际显著性


统计显著性分析虽然可以帮助市场人员评估广告之间是否存在性能差异,但它并没有说明这种差异在实际应用中有多大或有多重要。有了足够的数据,无关紧要的差异可被视为“具有统计意义”。


例如:假设你用两个稍微不同的广告运行一个A/B测试。


你为每个广告投放了1,000,000个展示,然后你发现版本A获得1,000个展示,而版本B获得1,100个展示。使用相关的A/B测试计算方法,你将看到这是一个“具有统计意义”的结果——p值为0.01,远远超过通常的0.05阈值。


但这一结果是否具有实际意义?


数字代表着一个进步,但在大多数营销环境中很难改变游戏规则。记住,有时候需要成千上万次的投放才能得出这个结论,而这个结论本身就很费钱。


我对营销领导者的实际建议是,要学会接受这样的事实——市场与产品不同,A/B测试中微小的调整可能很难会产生巨大影响。


要学会重新定义测试在市场营销中所扮演的角色,使你的团队成员将重要性分析理解为一种比较有意义的理念与方法,而不是定义成功。


三、谨防“偏见”


如何理解那些我们读过的、并与我们的团队分享过的、看起来微不足道的A/B测试带来的巨大性能收益的文章呢?


比如:“如何添加逗号提高30%的收入”“这个表情符号改变了我的生意”等等。


虽然肯定会发生这样的情况,但它们的数量和距离都比互联网搜索所能让你相信的要少得可怜。


在市场营销领域,这个问题被一些因素复杂化了:人们总是很轻易地认为通过一些A/B测试,轻松取胜就在眼前。所以,他们当然不会公布那些没有产生有趣结果的实验,也就容易造成一种分布偏见。我们不会看到或谈论所有A/B测试的结果,更何况一些测试运行的结果根本就是无关紧要的。


所以,请记住,一些看起来好得令人难以置信的结果很可能是真的。但你需要这样问自己:他们进行了多少次实验才得出如此惊人的结果?


不要因为要复制有价值的结果而感到压力。相反,要把注意力集中在不引人注目但更重要的工作上,测试有意义的不同策略,并寻找具有实际意义的重大结果——这才是真正的价值所在。


四、小心p-hacking


数据是营销人员最好的朋友,但它同时还带着一个警告标签,因为你拥有的数据维度越多,你就越有可能以某种方式陷入被称为“p-hacking”的反模式。p-hacking指的是数据分析能够从纯噪声中产生看似“具有统计意义”的结果的某些方式。


最明目惊心的p-hacking形式,不过是不断地进行实验,直到得到你想要的结果。记住,p值为0.05意味着观察到的差异有5%的几率是随机产生的,如果你将同一个实验进行20次,你应该期望仅凭偶然就能得到一个“显著”的结果。如果你有足够的时间和动力,你可以有效地保证在某一时刻取得显著的成果。众所周知,制药公司为了让一种药物获得FDA的批准会做这样的事情,但这可不是什么好事。


大多数营销团队永远不会做这么愚蠢的事情,但有一些更微妙的p-hacking形式需要注意。


例如:你针对受众运行两个不同的广告。但是,当高层次的结果被证明不显著时,通常会发生的情况是——我们对数据进行更深入的挖掘,以寻找更有趣的发现。


也许如果我们只看女性,我们会发现不同?我们看看不同年龄段的人呢?看看iPhone和Android用户……


这种方式很容易分割数据,但通常被认为是一种很好的实践方法。


在科学领域,这个问题已经通过一种叫做“预注册”的实践得到了解决。在这种实践中,研究人员公布他们的研究计划,包括他们希望进行的数据分析,以便他们研究的消费者能够相信,结果不是在电子表格中合成的。而在市场营销中,我们通常不会公布我们的结果,但是我们应该应用这些最佳实践。


五、在ROI 中包含实验成本


生活中一个经常被忽视的事实是——A/B是免费的。但其实,它们需要花时间、精力和金钱来设计和执行。


大多数A/B测试关注的是创造性,因为广告性能在很大程度上是由创造性驱动的。大多数写在A/B测试上的东西就像从天上掉下来的创意一样,你所需要做的就是测试,以确定哪种效果最好。


例如:假设你的总营销预算为25,000美元,而你正在尝试决定是在单个广告上花费2千美元,还是在5种不同的变体广告上花费5万美元。如果我们假设你需要在每个广告变体上花费1美元,来测试其性能作为A/B测试的一部分,那么你需要获胜的广告比A/B测试的基线性能至少高出20%才是值得的。


20%可能听起来并不多,但是任何做过重要A/B测试的人都知道,这样的收益并不容易获得,特别是如果你在一个相对成熟的环境中进行操作。所以,请记住,你的目标是最大化广告投资回报率,而不仅仅是为了实验而实验。预先运行ROI计算,以确定你需要多大程度的改进,才能使你的A/B测试物有所值。


六、写在最后


科学的营销方法对该领域具有不可思议的价值。但营销人员经常使用的一些方法和工具,可能只是肤浅的理解,最终浪费了大量的时间、精力和金钱。为了避免重复这些错误,并在相关问题上取得一些有价值的进步,相关人员必须学会从复杂或习以为常的错误中,不断吸取教训,改善并提升。




Powered by 澳门赌场攻略 @2013-2022 RSS地图 HTML地图

网站统计——

  • 谷歌搜索留痕推广
  • 谷歌搜索留痕排名技术
  • 谷歌快速排名
  • 留痕方法
  • 谷歌搜索快速方法
  • google搜索留痕程序
  • 谷歌快速排名
  • 澳门太阳城
  • 最大博彩公司
  • 谷歌搜索关键词排名
  • 搜索留痕程序
  • 谷歌排名出售
  • 谷歌蜘蛛池排名
  • 搜索留痕软件
  • 缅甸果敢赌场
  • 电子游艺规则
  • 谷歌留痕推广
  • google引流程序
  • 谷歌快速排名
  • google引流程序
  • 留痕推广
  • 大西洋城赌场
  • 买球地址
  • 搜索留痕
  • 搜索留痕程序出售
  • 谷歌蜘蛛池排名技术
  • 留痕程序
  • 如何提高google搜索排名
  • 数字币博彩
  • 洗钱方法
  • Google留痕收录
  • 最新谷歌搜索留痕排名
  • 搜索留痕
  • Google留痕收录
  • google搜索留痕
  • 数字币博彩网站
  • 足球投注平台
  • 博彩推广话术
  • 推广引流方法
  • 引流方法
  • 博彩推广话术
  • 网上博彩推广引流
  • 数字币赌场
  • 皇冠现金网
  • 蜘蛛池排名
  • 谷歌蜘蛛池
  • 留痕程序出售
  • google搜索留痕程序
  • 比特币网上赌场
  • 洗钱平台
  • 搜索留痕
  • 博彩推广方式
  • 网上博彩推广
  • 快速排名
  • 搜索留痕程序
  • bbin平台大全
  • 体育博彩公司排名
  • 留痕排名技术
  • 最新谷歌关键词排名
  • 推广渠道
  • 谷歌快速排名
  • 博彩推广
  • 世界杯赌球地址
  • 皇冠博彩公司
  • 谷歌排名出售
  • 博彩引流渠道
  • 搜索留痕程序
  • google搜索留痕
  • 引流渠道
  • 果敢网上赌场
  • 世界杯赌球
  • 搜索留痕方法
  • 博彩搜索留痕
  • 博彩引流
  • 博彩引流
  • 搜索留痕
  • 缅甸网上赌场
  • 欧洲杯赌球
  • 谷歌搜索排名
  • 留痕程序
  • 网上博彩推广引流
  • 留痕技术
  • 搜索留痕技术出售
  • 澳门威尼斯人网上赌场
  • 外围博彩
  • 博彩网站推广
  • 推广引流
  • 留痕程序出售
  • 谷歌推广引流技术
  • 推广引流方法
  • 美国在线赌场
  • 沙巴体育投注平台
  • 最新谷歌搜索留痕
  • 谷歌蜘蛛池排名技术
  • 网站推广方法
  • 留痕程序出售
  • 博彩推广方法
  • 菠菜论坛
  • 买球平台
  • 谷歌搜索留痕
  • 蜘蛛池排名
  • 博彩公司推广渠道
  • 谷歌搜索留痕
  • 博彩公司推广渠道
  • 真钱游戏
  • 网上赌球地址
  • 赌球平台推荐
  • 赌球网址
  • 博彩包网
  • 买球app
  • 澳门博彩公司
  • 威尼斯人赌场
  • 博彩平台推荐
  • 美国博彩网站
  • 缅甸实体赌场
  • 柬埔寨网上赌场
  • 柬埔寨在线赌场
  • 韩国博彩
  • 支持人民币的博彩公司
  • 世界五大比特币交易所
  • 欧易是哪个国家的
  • 中币跑路
  • 亚洲博彩公司
  • 合法网上赌场
  • 马尼拉赌场
  • 支持人民币的博彩公司
  • 大陆博彩平台
  • 澳门新葡京娱乐城
  • 老挝赌场
  • 世界赌场排名
  • 网上博彩公司排行
  • 菠菜论坛
  • 东南亚赌博网站
  • 虚拟币博彩
  • 澳门百家乐网址
  • 网上博彩导航
  • 区块链百家乐游戏
  • 马来西亚博彩公司
  • 越南赌场
  • 区块链百家乐
  • 香港娱乐场
  • 澳大利亚赌博网站
  • 足球赔率
  • 菲律宾网上赌场
  • 数字币博彩网站
  • 足球投注网站
  • 百家乐论坛
  • 皇冠体育博彩公司
  • 网上赌博网站
  • 网上博彩推广话术
  • 谷歌搜索快速方法
  • 网上博彩推广话术
  • 数字币赌场
  • 皇冠博彩公司
  • 世界杯博彩公司
  • 英国博彩公司
  • 网上博彩合法化
  • 新加坡赌场
  • 比特币网上赌场
  • 怎么洗钱
  • 加密货币博彩平台
  • 世界杯赌球网址
  • 网上赌球地址
  • 博彩推广方式
  • 印度尼西亚博彩公司
  • 国际包网
  • bbin平台直营
  • 亚洲体育博彩平台
  • 越南博彩公司
  • 百家乐路单
  • 澳门博彩官网
  • 博彩网推荐
  • 澳门太阳城网址
  • 百家乐网址
  • 世界杯赌球网址
  • 皇冠博彩网址
  • 洗钱方法
  • 买球网站
  • 欧洲杯赌球平台
  • 皇冠现金网
  • 外围赌球平台
  • 果敢赌场
  • 买球技巧
  • 全球最大博彩公司
  • 电子游艺
  • 真人电子游戏
  • 骰宝游戏规则
  • 亚洲体育博彩平台
  • 澳门在线赌场
  • 缅甸赌场地址
  • 赌球平台
  • 赌场如何赢钱
  • 世界杯买球网站
  • 真人牌九游戏
  • 世界杯买球官网
  • 时时彩平台
  • 六合彩预测
  • 威尼斯人网上赌场
  • 外围赌球网站
  • 赌博网址
  • 彩票群
  • 微信赌博群
  • 韩国首尔赌场
  • 赌钱游戏
  • 美国网上赌场
  • bbin官网
  • 沙巴体育官网
  • 博彩平台推荐
  • 数字币博彩网站
  • 比特币网上赌场
  • 世界赌场名单
  • 美国赌场攻略
  • 菠菜论坛排名
  • 菠菜论坛排名
  • 缅甸网上赌场
  • 支持人民币的博彩公司