“:全栈开发者社区ID:quanzhankaifazhe”
点击顶部[全栈开发者社区]→右上角[...]→[设置为星型
单击以获取全堆栈数据:全堆栈数据
字节跳动的明星产品众多,如果非要从中选择一款,抖音大概会是公众认知度最高的一款。但你有没有想过,家喻户晓的“抖音”名字从何而来?字节跳动为何将这款风靡全球的短视频应用命名为“抖音”?
成功没有捷径可走,抖音的火爆绝非偶然。当高层要对一个产品做出决策时,单纯的拍脑门、拍大腿,很难让一个产品获得真正的生命力。事实上,抖音取名的决策过程,是字节跳动的一次技术论证。通过A/B测试提供的数据评估和决策支持,再加上专家的建议和指导,最终做出了“抖音”的最终决策。
当代科技的发展以共享共赢为纲,字节跳动也通过火山引擎公开了A/B测试的能力。4月20日,在字节跳动火山引擎技术开放日A/B测试专场活动中,字节跳动副总裁杨振元为现场参会人员详细讲解了火山引擎A/B测试的技术能力。
大楼里的恐慌,所有的数据都说
过去的决策模式是什么?杨振元说,首先要确定目标,产品设计或迭代的目标是什么,对未来发展会有不同的影响。往往产品的迭代是多个目标综合考量的结果,因此需要评估目标的层次、优先级和合理性。目前评价方法主要有三种:经验判断法、非A/B检验的数据分析法和A/B检验法。
经验判断通俗易懂,是一种主观高效的评价方法。例如,在评价短质量时,主要依靠人们的经验。但经验判断的问题也很明显,即
就是偏见。正如《哪吒之魔童降世》所言,“人们心中的偏见就像一座山,你再怎么努力也移不动它。”对于一个公司来说,每天都有很多事情要做决定。并不是每一个决定都是由首席执行官做出的。它可能被分配到很多部门和团队,每个人都有不同的偏好,这会带来风险,比如不一致和偏见。因此,需要更完善的评价体系和数据支撑,才能真正推动产品迭代。
但数据有时可能具有欺骗性。非A/B测试的数据分析往往看起来很美,但要真正实现,必须打破相关性和因果关系。也就是我们高中学过的对比实验,需要控制变量,才能真正抓住问题的关键。但在现实环境中,影响因素往往非常复杂,因此为了真正量化数据的真实影响,非A/B测试的效果往往不如A/B测试。
真实环境下的A/B测试虽然不能真正把变量控制到极致,但其效果一定比非A/B测试更好,这也是字节跳动经过多年实践得出的结论。字节跳动在2012年成立之初就开始使用A/B测试,2016年将这一能力升级到Libra平台,最终在2019年正式成立火山引擎A/B测试项目,将这一能力向广大公众公开。
字节跳动使用a/B测试已经成为其企业文化的一部分。目前,仅字节跳动每天就新增a/B测试实验1500余次,已服务400余家商家,累计实验次数超过70万次。也就是说,无论是交互设计、推荐算法、广告优化、用户增长、营销活动还是产品命名,字节都将A/B测试引入其中。而抖音的名字也在这里。
善用工具,不迷信工具
如果你经常上论坛,在多个水域钓鱼,
帖子中,儿子出生时给儿子起名字可能是最容易吸引大家回复的类别。这种铭刻在人类基因中的命名欲望,在工作中自然会遇到,但产品命名不能鱼目混珠,要以数据为依据。以抖音的名字为例,字节跳动利用A/B测试结合专家意见,最终得到了抖音的名字。
抖音命名的过程是一个典型的a/B测试应用过程,可以分为数据分析、假设、a/B测试和解释实验四个部分。当然,命名是一次性活动,不能多次优化。如果是其他产品的升级迭代,以上步骤可以重复多次,以达到产品的最佳效果。抖音在命名时,会先根据过往数据和产品特性进行推断,提出几个可行的名字,然后将不同的名字放入应用商店进行A/B测试。
字节跳动创始人兼CEO张一鸣曾表示,“a/B测试只是一个工具,无法衡量用户需求,共情是重要基础。”一般来说,a/B检验是不可复制的,不能准确判断大量的独立性问题和置信度评价,也就是说a/B检验不是完美的。因此,这里需要增加一些人为干预。例如,“抖音”一词在最终的A/B测试成绩中仅排在第二位。然而,第一个方案经过讨论后被一致否决。究其原因,其效果虽好,但未能注入足够的同理心,结果自然难以长久。在现场,杨振元也表示:“没有最好,只有最合适。充分利用A/B测试可以帮助实现科学决策,而不是替你做决策。”
a/B检验不仅是一种工具,更是一套基于假设验证的实验方法。而在用户常用的场景中,拿出一小部分在线流量,随机分配给原策略a和新策略B,结合一定的统计方法,得到两种策略相对效果的准确估计。火山发动机的A/B
测试是以工具的形式为用户提供一站式多场景实验平台,其场景可涵盖个性化推送、可视化建站、多链接网页、客户端编程、服务器端编程等多个领域。
工具的价值在于简化和使我们的一些事情更有效率。火山发动机A/B测试产品以数据分析为主,提出假设、A/B测试、解释实验的闭环,实现对数据的全面洞察,使决策链条更加清晰;在分析层集成不同产品,提高分析流畅性;实现了统计引擎的自动分析,以辅助测试时的决策;解读中的科学决策,辅以特征旗(功能开关)严控风险,制胜策略可直接固化为特征旗,适时开启,差异化分配,降低失败回滚风险。
A/B测试未来会领先多远?
早在1747年,英国海军舰员因营养不均衡易患坏血病,医生就为他们提供苹果汁、醋、海水、柠檬、橘子等不同食物,分组试验治疗方案,这是有记录以来A/B试验最早的雏形之一。经过数百年的发展,在互联网时代,a/B测试依然需求旺盛,火山引擎a/B测试产品的丰富正是对用户对a/B测试产品热情的回应。
如今的A/B测试相比之前已经有了足够的进步,其核心在于数据的质变。数据驱动,a/B测试作为一种定量分析和评价方法,再辅以专家意见,可以帮助产品决策有据可依,进而提升决策质量。
当然,A/B测试的价值远不止于此。对于产品而言,合理使用A/B测试可以提高产品活跃度,促进用户留存率;不断迭代的算法、功能和模型,还可以通过A/B测试降本增效;在一些活动中,通过各种智能特殊类型、
实验的精细操作,可以实现收益最大化;在管理方面,利用正交试验可以找到更高效可靠的管理工具,从而为团队发展铺平道路。
那么市场上其他国家对火山发动机A/B测试产品的反应如何呢?在活动现场,我们有幸听到了几位用户的心声。他们的讨论主要集中在两个层面。首先是产品开箱即用、操作简单,可以解决中小企业研发能力不足的问题。可以有效减少专业技术和数据的投入;二是火山引擎A/B测试提升效率和价值驱动的助力,可以让企业的运营更加顺畅,在后台直接看到当前需求的数据表现,快速得到数据结论,直观量化企业的数据价值。
字节跳动“痴迷于A/B测试”,深到有人一度思考字节是否只能用于A/B测试?对此,张一鸣回应:“换位思考是基础,想象力是天空,逻辑和工具在中间。a/B测试只是一个工具,无法衡量用户的需求。同理心是重要基础。如果没有同理心,产品肯定没有灵魂,无法满足用户需求。但感同身受是不够的,它只能做出有用的产品。想要做出丰富多彩的产品,想象力是很重要的。我们追踪bug、做用户访谈、做AB测试是务实的,但我们也是富有想象力和浪漫的。信息创造价值是我们的务实,记录美好生活是我们的浪漫。“