字节跳动首次揭秘a/b测试:做了70多万场实验-z6尊龙app官方网站

字节跳动首次揭秘a/b测试:做了70多万场实验
2021-04-20 23:23:00  来源:  
1
听新闻
放大镜

支持抖音、今日头条等增长迭代的a/b测试工具,如今被字节跳动投入企业级市场。

在4月20日召开的火山引擎技术开放日活动中,字节跳动副总裁、算法和数据技术负责人杨震原首次揭秘了字节跳动如何使用a/b测试。火山引擎是字节跳动旗下为企业服务的智能科技品牌,字节跳动的a/b测试工具也已通过火山引擎开放给企业客户。

a/b测试是指对不同策略进行对比实验,根据结果选择最优方案。a/b测试不是互联网公司发明的,而是最早应用在医学领域。十八世纪,一位英国医生把患有坏血病的水手随机分成六组,用不同方法进行治疗,从而确定了柠檬和橘子能有效治疗坏血病,这是人类有记载最早的a/b测试。在互联网时代,a/b测试被互联网巨头广泛使用在产品开发和运营中,有研究者也把a/b测试视为字节跳动快速增长的重要因素。

最新数据显示,字节跳动每天同时进行的a/b测试达到上万场,单日新增实验数量超过1500个,覆盖400多个大大小小的业务。随着公司发展,这些数字还在不断扩大。截至今年3月底,字节跳动累计已经做了70多万次a/b测试。

图:字节跳动副总裁杨震原

杨震原表示,字节跳动积累的技术能力和增长方法,会通过火山引擎提供给企业客户。火山引擎产品体系包括基础服务、技术中台、智能应用和行业z6尊龙app官方网站的解决方案,字节跳动的视频编辑、特效、文字识别、图像识别、个性化推荐等技术能力,都已在火山引擎上为企业服务,a/b测试也是其中一款重要的数据产品。

据相关产品负责人介绍,火山引擎a/b测试支持客户端、服务端、推送、网页、可视化建站等多种实验形式,操作非常简单,即使不会编程的人也能轻松做实验。以悟空租车为例,该公司已通过火山引擎进行了70多次a/b测试,约有60%为正向实验,提升产品转换率约40%,以往需要一周时间的需求复盘数据分析,现在只要一天就能得到数据结论。

不过,杨震原表示a/b测试并不是万能的,它也有很多局限性,比如提高商品推荐门槛、不推荐评分低的商品,如果做a/b测试,短期内交易量肯定会降低,但长期来看结论有可能逐渐反转,这是长周期影响和目标设定的问题。此外,独立的实验条件、统计置信度等问题都是做a/b测试需要考虑的。

标签:
责编:袁中江 易保山
特别推荐
下一篇
网站地图