新書推薦:
《
骨科康复学(第2版)
》
售價:NT$
1140.0
《
笔记启蒙 : 英国皇家学会与科学革命
》
售價:NT$
390.0
《
汉语副词研究论集(第六辑)
》
售價:NT$
490.0
《
干戈之影:商代的战争观念、武装者与武器装备
》
售價:NT$
340.0
《
镶嵌之美:古希腊罗马的马赛克艺术
》
售價:NT$
1390.0
《
后希腊化哲学:从斯多亚学派到奥利金的发展研究
》
售價:NT$
349.0
《
别纠结啦:不被情绪牵着走的通透生活指南(“当代一休”小池龙之介治愈新作!附赠精美书签!)
》
售價:NT$
295.0
《
第二人生:找到重新定义人生的智慧
》
售價:NT$
440.0
|
編輯推薦: |
王晔博士率先将硅谷先进的AB测试理论、方法与技术引入中国,探索中国特色的试验创新之路。有理论,有作战计划,有行业、场景和人群的完整解决方案,更有开拓思路的案例和总结。快速上手的模板,让你放下书知道应该做什么,从哪做起。全彩印刷,160幅精美图片,阅读体验好,便于了解细节。
|
內容簡介: |
我们如今看到的各种互联网产品的改版以及创新,其背后都离不开许多上市之前的试验工作,其中被互联网、移动互联网行业广泛应用的试验方法是AB测试。AB测试的本质是试验,作为一种新兴的网页优化方法,通过对比试验增加转化率和注册率,带来产品和运营的创新,以实现各项指标的增长,如今它更是增长黑客所必备的核心思维方式和工作方法。在流量日渐昂贵、精细化运营的大环境下,互联网产品、运营和市场营销人员需要具有AB测试思维,以测试结果为依据做决策,优化页面,提高转化率,迭代产品。 本书作者因在谷歌总部工作时发现了AB测试的巨大作用而回国创业,并将自己对试验的理解和多年的经验进行梳理,在书中介绍了试验的本质、AB测试的概念和价值、 AB测试的方法论和实战步骤,以及电商、金融、教育、旅游、快消品、UGC、PGC、媒体网站、SaaS等行业的应用案例,着陆页、App、网站、服务器端和推荐算法等不同场景的优化案例,还有针对决策者、产品经理、互联网运营、市场营销和工程师的案例。
|
關於作者: |
王晔(Sando Wang),吆喝科技公司创始人,清华大学电子工程系硕士、耶鲁大学计算机科学博士学位,中国互联网试验创新领域布道师,中国创新创业大赛与千人计划创业大赛双料冠军获得者。先后就职于NEC、微软、谷歌等国际知名公司,任职期间负责 P2P 流媒体优化、P4PALTO、Google Adwords 质量与移动广告新产品等前沿项目的设计、开发及优化工作,积累了大量试验创新的理论和实战经验。历任IEEE移动计算、GLOBECOM互联网协议与车辆技术评审专家,ACM外部审核专家,2009年对等网络国际研讨会专家组成员,超现代化的通信和控制系统2010、2011年国际会议TPC专家组成员。
王晔于2014年创立吆喝科技公司,率先将硅谷先进的 AB 测试理论、方法与技术引入中国,与国内外企业一同探索中国特色的试验创新之路。目前,吆喝科技公司已经帮助数千家企业用户成功运行数万组试验,并荣获融资中国20172018年度人工智能及大数据产业zui具投资价值公司称号、2018年盛景全球创新大奖TOP20等奖项。
|
目錄:
|
目录
赞 誉
前 言 试验不息 创新不止
第 1章 数据驱动是试验本质 1
1.1 生活处处有试验 1
1.1.1 鸟生浮沉启示录:达尔文雀的自然进化试验 1
1.1.2 林德试验:现代医学离不开 AB 测试 6
1.1.3 洁面霜卖点效应:现代广告史就是试验发展史 9
1.2 数据分析与试验 11
1.2.1 数据不只是数字堆叠 12
1.2.2 后验数据分析的局限:数据的漂亮与丑陋 13
1.2.3 试验:数据驱动业务增长的唯一力量 15
1.3 试验的思维 17
1.3.1 快速试错的互联网思维 17
1.3.2 试验驱动创新,创业依赖试验 19
1.3.3 依赖试验的增长黑客 21
1.4 试验驱动业务增长 23
1.4.1 试验让低成本探索成为可能 23
1.4.2 试验驱动增长无处不在 25
1.4.3 试验的频率决定发展的速度 26
1.4.4 新时代,试验文化正当时 28
第 2章 AB测试是成功的试验方法 31
2.1 互联网时代的 AB测试 31
2.1.1 谷歌引领的 AB测试潮流 32
2.1.2 微软、亚马逊、脸书的经验 33
2.1.3 新生代 Airbnb的融会贯通 36
2.1.4 AB测试是优秀企业的标配 41
2.2 深入解析 AB测试 42
2.2.1 AB测试的定义 42
2.2.2 AB测试的特性 43
2.2.3 AB 测试的试验类型 45
2.2.4 伪AB测试 46
2.2.5 AB 测试的统计学原理 51
第 3章 AB测试的作战计划 63
3.1 试验的战略制定 63
3.1.1 明确战略目标 63
3.1.2 制定战略路线图 64
3.1.3 管理试验项目 68
3.1.4 搭建试验的基础设施 70
3.2 试验的战术执行 72
3.2.1 探索、验证闭环:试验驱动业务优化的流程 73
3.2.2 试验方案设计 78
3.2.3 试验的优先级排序 82
3.2.4 高频试验管理 85
3.3 快速上手一个试验 87
3.3.1 收集数据,发现问题 88
3.3.2 建立试验目标 90
3.3.3 提出试验假设 91
3.3.4 运行试验,验证假设 93
3.3.5 分析试验数据,做出决策 94
3.3.6 积跬步至千里,持续优化是关键 95
3.4 实战:从零开始一次 AB测试 96
第 4章 AB测试的完整解决方案 110
4.1 行业: AB测试在各行业的应用 110
4.1.1 电商经典案例 110
4.1.2 金融经典案例 113
4.1.3 教育经典案例 115
4.1.4 旅游经典案例 117
4.1.5 消费品牌经典案例 120
4.1.6 其他行业(UGC、PGC、媒体网站、SaaS) 124
4.2 场景: AB 测试在各种业务场景中的应用 132
4.2.1 着陆页优化 133
4.2.2 App优化 139
4.2.3 网站体验优化 145
4.2.4 技术优化 148
4.2.5 算法优化 151
4.2.6 基于 AB测试的高效科学运营系统 154
4.3 人群: AB测试是创新人才的必备技能 156
4.3.1 决策 157
4.3.2 产品 160
4.3.3 运营 166
4.3.4 市场 172
4.3.5 技术 174
第 5章 试验星火,终会燎原 178
5.1 人工智能 179
5.2 新零售 182
5.3 AR、VR、新硬件 184
5.4 区块链 186
5.5 智慧城市 187
附录 191
附录 A AARRR模型的介绍 191
附录 B AB测试术语表 194
附录 C AB测试需求分析模板 202
附录 D 试验档案表格 203
附录 E 快速上手一个试验模板 204
扫封面上作者简介处的二维码,可免费获取书中所有模板。
|
內容試閱:
|
试验不息 创新不止
1. 从一个故事说起2013年的一天早上,我在谷歌( Google)总部广告质量部门的办公室里盯着显示器上的图表,站在我身旁的是穿着正式的广告产品经理。以现在的试验数据来看,我们申请把流量推上 20%吧?先看看美国地区的细分结果。类似这样的严肃讨论几乎天天都在发生,在我的办公室内发生,也几乎在每一个其他小团队的办公室里发生。你可能想问,这样的对话到底是在讨论什么?当时我们团队正在用 AB测试的方法来进行一个线上试验。我们需要每天(有时候每小时)观察试验数据,做出项目的下一步决策,如果这个决策的影响可能会比较重大,例如将影响谷歌 20%的用户,那么我们需要向上级领导汇报以得到其支持。我们做的试验源于一个大胆的想法,这个想法来自搜索部门的产品经理:搜索产品时试着把谷歌搜索结果(包括广告)里的 URL换成结构化的域名,例如把 http:www.appadhoc.comlpo换成 AppAdhoc.com LPO,这么做会不会提升用户浏览搜索结果的效率从而提升用户的广告点击率呢?这样的事情从来没有人做过,包括谷歌的竞争对手们也没有做过。这样的改动用户会喜爱吗?这样做会不会让用户更容易找到想要的搜索结果?有可能,但也不一定,答案似乎见仁见智。没有人能预测这个项目会不会有收益,更没法预测具体会给广告营收带来 1%的影响还是 10%、0.1%,或者没有任何影响。如果按照传统的企业决策流程,产品经理将围绕这个想法做一些用户调研,然后将项目汇报给领导,如果领导认为这个想法值得一试(很多情况下领导会劝产品经理放弃),会组织会议进行讨论,因为会议上有人喜欢这个想法,而有人不喜欢,最终的会议决议可能会放弃这个想法。谷歌的做法不一样,产品经理将想法口述给领导,领导同意运行一个2%流量的试验。技术团队花了几天时间完成了研发和测试,试验很快就上线了。 2%的搜索流量被采样进入试验,其中 1%的用户作为对照组会看到 URL(如 http:www.appadhoc.comlpo),另外 1%的用户作为试验组会看到域名(如 AppAdhoc.com LPO)。这两组用户的广告点击率被准确地采样统计,然后对比分析,得出实时的试验结果。试验结果不是很显著,但是似乎试验版本的样本均值略好一点(如1% [-2%, 4%]),也就是说从采样样本来看试验组的广告平均点击率高于对照组,但是从统计意义来看还不能确定两者谁更好。通常情况下,试验结果不显著是因为样本量不足,所以我们希望做更多的分析,然后向领导建议将试验推送给更多的用户( 20%),获得更多的试验样本,以期待有可能得到更明确的试验结果。这样的试验项目在谷歌很常见。具体来说,谷歌每个月都会运行 1 000个以上的试验项目。每个试验项目的参与者都来自这个大公司的各个部门:产品经理、工程师、销售人员、客服人员、法务人员、质检人员、策略研究者、市场人员等。项目的负责人通常是产品经理,他会管理工作进度及协调公司资源。项目的其他参与者会向各自的部门领导汇报,保证项目决策得到相关部门的支持。从谷歌的实践来看,这种跨部门组建的试验项目小团队很有战斗力,谷歌内部几乎所有成功的项目都是这么落地的。我觉得这种成功来自于试验项目的管理得当、目标明确、路线清晰,以及特别重要的我们可以利用强大的AB测试。
2. AB测试带来了很多好处像URL改成域名这样的项目几乎都是通过 AB测试试验系统来实施的。由于这个原因,在谷歌内部,项目这个词几乎已经被试验所完全替代。广泛使用 AB测试为谷歌带来了如下长久的巨大的好处:确定可预测的业务提升:每个试验项目的收益在完全上线之前就可以精确衡量,甚至精确到 0.01%(注意,考虑到谷歌的业务体量,营收增加 0.01%相当于每年多赚或者少赚数百万美元)。如果一个试验项目会带来负增长,这个项目很可能就不会上线;只有带来正增长的试验项目,才会加大投入并最终推广给全量用户。通过 AB测试精确预测每个项目的商业回报,然后有选择地上线项目,谷歌可以确保每年广告收入增长约 20%(约 100亿美元规模),从而保证利润和股价持续十多年的攀升。. 低风险、高效率的试错:试验项目必须经过小流量的灰度发布阶段(如 1%的流量),只有确定达到了业务预期,并且没有故障,没有过负载,没有用户投诉,没有违背政策监管,没有其他风险,才会推广给更多用户。这样做大幅度降低了决策风险,把可能的损失降到最低。同时,AB测试排除了试验之间的互相干扰,小流量试验可以大量并行进行,大幅度提高了试错效率,把互联网迭代优化的速度推到了极致。因此,谷歌常常有上千个试验并行运行。. 创新的企业文化:谷歌是一个巨型公司,在全球各地有好几万名优秀的员工,公司有复杂的组织架构。这样的公司很容易滋生大公司病,每一个决策都可能因为受影响的部门太多而遭遇重重阻碍。. AB测试的低风险、高效率,以及过往的成功实践,持续鼓励公司的新老员工开拓思路并大胆创新,避免了故步自封的大公司病问题。创新的企业文化,是企业长久生命力的源泉。小团队创新的工作方法,使阿米巴企业管理方法可以成功落地。当然,有些项目并不能通过 AB测试来做,如谷歌的电视棒项目(Chromecast)是一个典型的从 0到 1的创新项目。对于这种没有用户基础的新产品,我们虽然不能用精确、方便的 AB测试做试验,但是可以用其他的试验方法,如最小化可行产品(MVP)的市场测试方法。
3. 如何复制这个成功试验,尤其是 AB测试的价值很高。在硅谷巨头公司、华尔街和各种创新企业,试验都取得了巨大的成功,但是在目前的中国市场,试验还不太成熟。在很多行业里,美国企业的试验能力和试验效果都比我们领先很多。在巨头公司的对比中,谷歌每年的试验数量是携程的 10倍;在 AB测试服务商的对比中, Optimizely上的试验数量比吆喝科技( App Adhoc)上的试验数量要多 10倍。其实无论是在中国、美国还是其他市场,还有很多企业没能建立起试验创新的文化。要实现试验驱动的增长,需要正确地在企业内建立 AB测试的文化,搭建完善的基础设施,采取正确的工作方法。我们通过多年的工作和观察,在尝试走试验驱动路线的企业内,发现了一些常见的问题,将其大致可以分为以下三类:(1)决策者缺乏试验的思想,项目决策谨慎但是实施坚决。这种传统方法经常遇到的问题是产品团队投入 3个月用于研发产品的大改版,最后没有业务上的回报,甚至用户反馈新版还不如以前。正确的做法应该是反其道而行之,大胆假设,小心求证。不做试验的企业虽然还为数不少,但是已经在大量转变。在激烈的市场竞争下,企业越来越以结果为导向,对领导者和业务骨干的要求也越来越高,大企业的各个层级的领导们也越来越重视试错和迭代。(2)决策者有试验的思想,但是缺少 AB测试的正确实施方法。虽然领导希望做 AB测试来验证决策,但是实施起来需要投入大量人力和时间成本,容易出错,试验设计、试验配置、试验结论也常常饱受争议,并没有提高企业效率,甚至事倍功半,形式大于内容。这样的组织可能处在学习互联网思维的实践阶段,随着互联网产业的蓬勃发展和影响力加强,它们正在快速改进,走上正轨。(3)已经在正确地运用 AB测试,但是效率低、频率低。很多业务线一年尝试的试验不到 10个,这样的试错速度并没有比传统方法提高多少,只是保证了错误的决策不上线,并没有真正利用好互联网的强大力量。对这些组织来说,目标应该是将试验数量提高 10倍,方法是人才培养和文化建设,以及采用更好的 AB测试基础设施,鼓励高频、高效的创新项目,增加单位员工的试验产出。
4. 为什么写这本书意识到这些企业普遍面临的问题后,我觉得 AB测试的系统性知识和经验会对各行各业的业务负责人很有帮助,特别是对互联网线上业务的从业者来说,AB测试是必备能力,这促成了本书的写作。AB测试在各行各业的很多场景中都已经有成熟的应用和不可替代的价值,特别是在互联网行业、科学研究、基础农业、医疗、金融、公共政策、市场营销等领域都非常成功。在互联网行业,一个特别热门的 AB 测试应用场景就是产品运营的增长黑客。增长黑客借助互联网和 AB测试的力量让业务增长的速度远超传统行业,这套方法容易落地,投入产出比高,无数成功的独角兽互联网企业就是利用增长黑客创新创业,并创造了财富的。本书的内容将重点放在互联网产品运营特别是增长黑客的 AB测试上。本书的定位是 AB测试的工具书。我们从实践角度出发,介绍了 AB测试的理论原理,标杆企业的最佳实践,进而详细介绍 AB测试的实际应用场景、落地实施流程和业务产出预期。无论你是决策者还是业务骨干,是产品负责人还是软件工程师,是内容运营人员还是市场营销经理,希望本书的思想和内容都可以帮助到你。在本书的写作中,很多行业专家,特别是吆喝科技的专家们为我提供了丰富的案例素材和专业建议。如果没有他们,这本书无法完成。在此,我要特别感谢李淼、沈国阳、张毅飞、柏利锋、刘飞、李想、蒋守战、李翔宇、陈聪、刘泽军等。
王晔(Sando Wang)2019年 1月
|
|