火山引擎 DataTester 上线全新 MAB 智能调优实验

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群

近期 DataTester 上线了 MAB 智能调优实验功能,希望通过智能化、自动化的 A/B 实验形式,帮助业务团队实现收益最大化

在 A/B 实验平台的研发道路上,火山引擎 DataTester 走在业内前沿,在常规的 A/B 实验之外,一直在探索实践智能实验。此次新功能 MAB 智能调优实验(Multi-Armed Bandit), 是一种能根据当前实验数据表现,来智能调整实验内不同实验组的流量比例分配的实验类型。

传统 A/B 实验依赖于统计显著性的经典假设检验,为对照版本和实验版本分配相应的流量,但在实验期间不能够变更每个子版本的流量。因此这类实验需要专门的预留周期(至少 7 天),必须有足够的样本进入实验,并且在实验开始后不能有任何变动,才能得出显著结果。而火山引擎 DataTester 的 MAB 智能调优实验,克服了传统 A/B 实验的上述限制,在如下几个场景上有特殊的应用优势。

在冷启动、流量少的场景下,MAB 实验也能发挥 A/B 实验的优势点。对于初创公司,或在产品、活动冷启动时期,面临的一大问题是没有足够的流量进行实验。但由于 MAB 实验会基于当下指标的表现动态进行流量分配,所以能够在总流量不多的情况下,通过 A/B 实验的形式将收益最大化。

有了 DataTester 的 MAB 实验,短周期的活动也一样可以依靠 A/B 实验进行优化了。活动运营有很大一部分是持续时间较短的活动,例如很多电商活动的持续周期只有 1-3 天,如果受限于传统 A/B 实验的限制,仅实验流量就要跑 7 天以上才能得到显著性的成果,无法应用在短周期活动中。而 DataTester 的 MAB 实验,由于实验核心目标是整个活动收益最大化,而非帮助用户找到数据最优组,因此对实验时限无要求,短周期活动也可以用 A/B 实验优化。

在促进高价值流量转化方面,MAB 智能调优实验可以起到加速作用。对于一些高客单价的大额商品,如汽车、钻石等,每一个转化机会的成本都很高。如果采用传统的 A/B 实验,在获得统计上显著方案的过程中,会错失一部分的前期实验流量,但 MAB 实验能够在过程中根据实时数据进行动态调优,减少实验过程中的转化机会损失。

此外,一些特定场景下,如涉及到 App 文案标题、缩略图、视频内容等的 A/B 实验优化测试,它们需要在短的窗口期内获得最大点击量,却受限于传统 A/B 实验实时性较弱,难以应用优化。而 MAB 可以在短周期内即可查询各版本的转化效果,火山引擎 DataTester 目前可以实现每半小时,即可获取更新数据反馈。

DataTester 是火山引擎数智平台旗下产品,能够深度耦合推荐、广告、搜索、UI、产品功能等多种行业场景需求,为业务增长、转化、产品迭代,运营提效等各环节提供科学的决策依据。

目前,DataTester 推出了 30 天免费试用的活动,在了解了 MAB 智能调优实验的应用场景后,如果你感兴趣,可以前往火山引擎 A/B 测试官网进行申请试用,无需企业认证,一键申请即刻开通!

点击跳转 火山引擎A/B测试DataTester 了解更多

你可能感兴趣的:(大数据ab测试实验记录)