首页 > 读 文 > A/B测试不是技术的活,其实是产品的活---说说A/B测试在产品管理中的应用
2022
11-29

A/B测试不是技术的活,其实是产品的活---说说A/B测试在产品管理中的应用

因为A/B测试方法在IT(主要是互联网产品)产品被广泛应用,因此,很多传统行业的朋友就认为这个技术是IT行业发明的,同时,又因为互联网产品的特殊性,让A/B测试方法普遍用在UE、UI、功能等方面,因此,这些朋友也就认为A/B测试是一种面向“技术”的“探索技术”(从产品管理的角度看,它属于产品探索的一种技术),它的使用者应该是技术人员。

比方说,国内对于A/B测试的定义竟然是“一种新兴的网页优化方法”。

但事实上,A/B测试既不是IT行业发明的,也不是只能用在“技术(网页优化)”范畴里,实际上,A/B测试的主导者应该是产品经理,这是因为A/B测试可以应用到产品的多个方面,在本文中,我就简单聊一下这个话题。

1、A/B测试到底是什么

A/B测试到底该如何定义呢?大家看图1:

在这个定义中有两个关键词需要把握:

1)Product:产品,这是A/B测试的范围。从这个关键词中可以看出,A/B测试的范畴是“产品”,那么,问题来了,产品管理中的产品是什么,这个可以参考这篇文章:《产品不是冰冷的,它是消费者和我们之间产生的一种温度!》。

也就是说,从产品管理的角度看,A/B测试可以运用到和产品有关的方方面面,而互联网产品的网页优化(UE、UI、功能)也仅仅是其中之一,除此之外,包括产品的包装,传播(具体还可以包括定位,价值,服务等),定价等都可以采用A/B测试。

而以上这些,是需要技术人员主导的吗?肯定不是,肯定是由产品人员主导的。

2)Key Metrics:关键指标,这是A/B测试的目的。从这个关键词中可以看出,A/B测试绝不仅仅是通过对产品介质(UE、UI、功能)的优化而提升或改善类似“转化率”、“注册率”这样的目标。

毕竟对于产品经理而言,我们要关注的目标要分为5类25个,具体可以参考这篇文章:《产品经理需要关注的25个关键测量指标》。

而在这25个指标中,除了和产品介质有关的指标(例如站点分析,WA,而转化率,注册率准确说其实都是运营指标)会因为产品形态而有些差异外,其它的像获客成本(CAC),客户生命周期价值/客户终身价值(LCV),客户流失率(CR)等这些市场和销售指标,哪个行业,哪类产品的产品经理都必须面对。

因此,第一,A/B测试并非IT产品所独有和使用,所有的行业和产品都可以应用,第二,A/B测试并非属于“技术”范畴,而是属于“产品”的范畴。

事实上,A/B测试的底层逻辑本来就是依照医学行业的对照实验延伸出来的,医药类产品的产品经理应该知道,对照实验的目的就是确定一种新治疗方法,新药品是否有效。

当然,医药行业的对照实验标准和要求非常高,其它行业和产品的A/B测试领会医药行业对照实验的精神就可以了。

如果非要说A/B测试和技术的关系,那也不是IT技术,而是统计技术,这个就太难了,有兴趣的朋友可以自查自学啊。

2、A/B测试的基本逻辑是什么样的

A/B测试基本一句话就能说明白:

在随机分配的两组测试人群中,如果产品(新的和现有的)出现了可测量(KPI)的差异,那么一定是由被更改的产品(新的)造成的。

在这个逻辑中有四个关键要素:

1)受测人群(随机到A和B);2)测试物(现有的和新的);3)测试目标(通常为一个可量化的指标);4)测试结论(形成了何种差异)。

举个很多朋友都有所体会的例子:

比方说,你现在是淘宝的一个商家,希望通过返现来看是否能增加好评率(这个大家都遇到过吧)。

具体怎么做呢?大致过程是这样的:

比方说,你准备通过100个包裹来测试,那么,你印50张返现好评提示单,然后随机放到100个包裹中(当然你得记录每个包裹去向),这样,你在发出去的一半包裹中没有好评返现提示单(A),在发出去的另一半包裹中有提示单(B),然后,在你后台看好评的时候,就可以知道这个好评是来自A还是B,当然,你肯定是通过计算来自A还是来自B的数量来统计的,从而判断返现好评是否能促进好评率的提升。

在这个例子中:

1)受测人群:100个购买你商品的客户(随机分配到A和B中);

2)测试物:放置提示单的包裹(新的B)和未放置提示单的包裹(现有的A)

3)测试目标:提升好评率(肯定是一个可以量化的指标)

4)测试结论:B带来的好评率高于A(差异性)

一般来说,A/B测试只针对一个可以量化的指标,原因在于因果关系会非常明确,也就是说,一个“Clean”的A/B测试往往只寻求改变产品的一个方面,毕竟一旦条件增多,会让因果关系变得复杂,而这又违反了A/B测试的基本特征。

3、A/B测试如何在产品管理中应用

上面那个例子不算产品管理范畴的,算运营的,这里我就讲一个产品管理范畴的,还不是产品介质层面的,可以用到A/B测试的例子,就说定价吧。

为什么要以定价为例呢?一是定价的过程在我看来几乎是可以完全技术化的,二是对于所有的企业来说,产品最终都得有个卖身价,产品经理谁也跑不了,具有代表性。

现在你是某自行车企业的产品经理,要了解一下降价对销量是否有提升作用,怎么操作呢?其实思路有很多,我就说我设计的一个。

第一,选择测试目标

目标选什么呢?

我们知道,价格往往和消费者的购买决策周期有关系,这样,我们就可以把“购买决策周期”作为可衡量的指标,这个指标是可以定量的。

第二,选择受测物

这个又该怎么选呢?方法也有很多,其中一个可以是这样的,选择某个城市的某个专卖店,然后给店家发100辆车,其中50辆原价销售,无任何优惠,这为A,其余50辆原价销售,但有价值XXX元的骑行礼包赠送,这为B。

第三,选择受测人群

A和B确定以后,告诉店家,进店买车的消费者按照奇数进店人群为A,偶数进店人群为B的顺序销售,这就是随机的受测人群。

因为店家并不知道进店买车的消费者会以什么样的顺序到来,以及他们是什么人群,因此,人群是带有随机性(男女老少?)和普遍性(需求,区域,职业?)的。

第四,测试结论

通过这100辆车的销售,店家反馈来的数据是B的购买决策周期明显要比A短,经过数据统计和定量分析,B要比A的决策周期少2天。

然后再联系到价格上,那么,你可以得出这样的结论:降价(以优惠的形式)可以有效提升产品销量。

可能很多朋友会说了,这不是显而易见的吗,降价肯定能提升销量啊,有必要费事做A/B测试吗?

这话说对了一半,对是因为你即使不做A/B测试,你大概也会有一个结果判断,这在A/B测试里叫“基于现状的假设”,不对是因为你如果不通过A/B测试是无法得到具体的数据的,比方说通过缩短2天的购买决策周期能在一个销售周期内(比方说Q1)提升多少销量。

因此,我一开始就说,A/B测试是一种基于现状假设的定量验证技术。

这就好比互联网产品经理经理经常说,“把UE再优化一下肯定能提升用户的使用体验”,但关键的问题是“优化哪里,怎么优化”。

基本就是这个意思,大家领会精神就可以了。

到这里,是不是说本文就可以结束了呢?

没呢,其实在我看来,本文的重点才刚刚开始。

4、A/B测试带不来产品伟大的成功

刚才提到的针对价格的A/B测试看起来还不错,但是,这会给产品经理带来一个压力,就是销售团队会基于这种结论而提出让你不断去做类似的测试和验证,我把这种测试称为是“愚蠢而正确的实验”

因为在销售看来,只要降价就能有销量,那么,对于产品经理来说,你就得不断测试和验证价格降到什么点上。

这是因为降价带来销量增长是很明显的,大部分情况下也是正确的,但不断的进行这类测试则是愚蠢的,因为降到无法可降的时候,你怎么办?

这是一个陷阱,也是一种非常微妙的情况,产品经理必须要谨慎,再谨慎。

回到本节的内容,为什么说A/B测试带不来产品伟大的成功呢?

1)无法形成创造性的破坏思维

我们必须承认,伟大的产品都是因为不受规矩,不固守成规,不基于现状的假设而一举成名的,简单说,就是得对现有进行破坏,推翻一些不再需要或不再有效的现状才有机会。

也就是说,这种创造性的破坏需要一个长远的眼光,一个潜在的,甚至充满理想的假设,一个“有潜在商业价值案例的理论”。

而对于产品经理来说,就需要你在头脑中有一个目标,这个目标很简单,就是“如何从根本上比现在更好地解决客户的问题”,然后去追求这个目标。

也就是说,产品经理要想创造出伟大的产品,就要意识到你所谓的创造性解决方案要从根本上比现有的产品更好,而不是从比现状稍微好一点的产品开始。

可能很多朋友不知道,苹果iPhone推出之前,其实是摩托罗拉给乔布斯搞过一个手机的,叫Rokr E1,这个手机尽管在当时的手机市场很保险(小屏,实体键盘),但乔布斯说这是什么玩意,咱们自己干,于是才有了在智能手机领域掀起革命的iPhone。

而A/B测试恰恰是对现状假设的测试,而破坏性的创造则是一种对现状假设的挑战,也意味着要抛弃在这些假设之上发生的所有优化。

当然,挑战现状也要求产品经理要真正洞察消费者的问题,更重要的是这条破坏之路一定是充满了曲折的,同样需要你不断的一点一点的实验才行,但这种实验绝不是通过简单的A/B测试就能实现,退一万步讲,即使失败了,那么,你也知道问题出在哪里,以后也有吹牛的资本,对吧。

总之,伟大的产品需要打破现状,挑战基于现状的假设。

2)容易形成不太好的增量思维

A/B测试有个明显的特征就是“局部最大值”,说说它不好的地方。

比方说,如果你在A/B测试一种全新的未优化产品与优化的现有产品,而优化的现有产品的表现优于未优化的新产品,那么,你就无法知道这是否只是因为全新产品还未进行优化。

也就是说,通过优化现有产品,你已经爬上了一座山(局部最大值),当你针对它测试一个截然不同的产品时,你真正想知道的是新产品的潜力是否高于你目前所处的山,但从A/B测试的结果中你是无法得知这一点的。

还以价格为例,当你不断优化当前价格策略达到最优解的时候,你的价格策略其实已经到了局部最大值,但是,你是否想过,是不是有更好的,全然不同于当前价格策略的策略(一种全新的假设)呢?

而你从A/B测试中是无法获知这一点的,因为你没有办法知道新价格策略的潜力到底如何。

我是经历过PC时代桌面通用软件价格大战的,无论是杀毒,还是多媒体,或是办公软件,几乎所有的企业和产品经理都在研究把价格定到什么位置就最合适了(局部最大值),但最终的结果是被360一个免费干的基本都不吭气了,如果我们用A/B测试去实验的话,得到的结果撑死了告诉你,你这个软件卖到48.5元不会影响销量。

这就是A/B测试其实会让产品经理形成一种增量思维:找到“赢点(Win Point)”,一种“击中(Beat)”现状假设的验证,而它在增量思维中,似乎要比朝着伟大愿景前进更重要。

这种增量方法对于优化某种目标来说很好,但是对于形成面向伟大远景的产品经理全局思维来说很糟糕。

简单说,A/B测试的增量思维就是“再在现有的基础上改改哪里就会更好一些”。

3)容易形成短期视野

增量思维带来的自然结果就是产品经理不再有长期视野,而被短期视野所主导。

因为我们在增量过程中尝到了甜头(比方说降价有明显的销量提升),而对于时间较长的指标(比方说客户长期留存率,客户终身价值)就缺乏了足够的耐心,因此,短期指标(比方说如何让早期客户更多的购买)就成为了主要的成功标准(KPI卡死了),这样,整个公司就陷入了如何利用这些“短期指标”的魔咒中,尽管可能不是有意或恶意的,但现实情况就是如此,从此,再也没有人(希望产品经理不属于此类啊)去关注客户和业务的长期价值、满意度和企业持续的竞争优势,而这本质上就又和产品管理的根本目标相悖了。

而一个只有短期视野和目标的企业或产品经理,是无论如何做不出有伟大的产品的。

产品管理到底是什么,根本目标到底是什么,大家可以参考这篇文章:《产品管理:系统的将想法转化为业务》。

4)影响洞察市场和消费者的速度

要做出伟大的产品,快,准,狠,是中小初创型企业的三大致胜法宝。

这些企业之所以容易出彩,其中一个重要的原因就是能快速响应不断出现和发展的消费者需求。

速度和灵活性是这些企业击败资源强大企业的不二法则,也就是用时间换空间。

A/B测试其实本身就是一种快速的产品探索的技术,但是对于上文提到的“快”来说,还是相对“慢”了。

一方面A/B测试适用于现状的边际优化,而伟大的产品则是颠覆现状的,另一方面A/B测试往往只针对一个定量的可测量目标,而创造性的产品往往需要全面的实验,就算通过A/B测试全部完成了这些实验,花费的时间暂且不说,如果得出的结论是消极的怎么办,时间浪费了不说,关键是全方位测试带来的多方面条件和结果会让你的分析更加困难。

这还不是问题全部,一般来说,中小型,初创企业是很难有大型企业所拥有的“制数据权”的,而A/B测试又是离开数据根本没法搞的,比方说,你根本木有办法获得足够多的测试人群,零敲碎打的测试在统计学上是没有显著意义的。

因此,如果你构建的是一个充满了挑战现状,甚至是颠覆性的产品,那么,通过A/B测试来完成产品探索是不合适的,比较合适的其实是MVP,通过MVP你可以更快的了解和洞察客户的知识,可以想一下,当你还在琢磨如何用A/B测试做全面实验的时候,你的竞争对手可能都已经开始用MVP拜访10个潜在客户了。

总之,伟大的想法充满了高风险,也充满了高回报,如何尽快,尽早的进行验证是至关重要的,而A/B测试搞不定的。

5)不利于对方向性的东西进行验证

如果你的产品总体方向的假设已经得到验证,而你目的是为了让产品更快的跑起来,那么,A/B测试是个很好的优化技术。

但是,如果你试图验证的是方向性的东西,那么,你其实需要的是更丰富的见解。

而伟大的产品往往在方向上就是具有颠覆性的,同时,对于方向的验证也往往是科学(定量)和感觉(定性)共同作用下的产物。

而A/B测试只能完成一半,还很难完成,而感觉的东西无论如何是通过A/B测试解决不了的。

比方说对于一个全新产品概念的验证,A/B测试根本无法做到,比较合适的方法除了MVP外,其实还有更简单的,就是“产品概念测试表”。

针对方向性的定性验证过程,不仅会告诉你发生了什么,还会告诉你原因。它们会帮助你发现哪些客户的痛点是你成功解决的,哪些是你没有解决的,也许还有哪些是你无意中创造的新痛点。

这都是你可以获得的最重要的输入,从而能够有助完善你的产品方向和迭代你的产品解决方案。

其实在我看来,即使是可量化的A/B测试,远不如我们提供一个成熟的,有价值的产品重要,毕竟所有的测量指标都是客户关注价值的一种指代。

完全依赖这些测量指标去做A/B测试,很大程度会取代我们对客户实际价值和产品愿景的关注,从而让我们在优化产品的时候出现南辕北辙的情况。

尽管我说了A/B测试无法创造伟大产品的五个不足,但A/B测试依然是一种非常有效的,针对基于现状而产生的假设进行验证的一种有力方法,关键是我们绝对不能迷信一种方法和工具就能让你打遍天下。

当然,现在的问题倒不是讨论A/B测试的基础情况,而是本来应该在很多行业和产品中被产品经理拿起来好好用的一个工具方法,产品经理和它之间的关系,就和我和钱之间的关系一样,尽管知道,但却没怎么接触过。


本文》有 0 条评论

留下一个回复