火山引擎DataTester升级MAB功能,助力企业营销决策

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群

DataTester,火山引擎推出的 AB 测试与智能优化平台,近日宣布对其 MAB(Multi-armed Bandit)功能进行了升级,以更好地满足企业营销决策的需求。MAB 是一种通过不断尝试不同的选择来找到最优决策的算法,广泛应用于营销领域。DataTester 的 MAB 功能已经在内部和外部得到了成功的验证。此次升级后,该功能将更加符合业务使用场景,帮助企业更快地找到最佳的营销策略。

在营销活动中,落地页是用户点击广告后进入的页面,是营销活动的重要环节之一。MAB 算法可以通过动态调整进入到各个落地页的流量,从而提高转化率和投资回报率。

DataTester 的 MAB 功能在设计之初就考虑到了实际应用场景。如果活动的投放落地页很多,同时活动周期比较短,需要快速引来更多的流量完成支付转化,那么 MAB 是合适的。如果活动会持续较长时间,想先用流量测试落地页方案,则选用传统的 AB 实验合适。

通过 MAB 算法,动态调整进入到各个落地页的流量,转化率高的落地页将拿到更高的流量。因此,在最终整体收益上,会超越每个方案随机分流量。这部分就是 MAB 动态调优的超额收益。

在正式开启调优之前,业务团队需要完成流量方案的设计。明确目标需要明确营销活动的目标,例如提高转化率、提高用户留存率率、提高下单率等;设计实验在确定策略后,就可以具体设计不同的落地页版本,测试不同策略的效果。

在火山引擎 DataTester 产品中,针对落地页可选择的调优场景为「可视化优化」和「多链接调优」两种场景,如果落地页变化内容较少、研发资源紧张,「可视化优化」可以快速生成不同的落地页版本测试;如果已经有设计好的落地页,那么可以使用「多链接调优」。

火山引擎DataTester升级MAB功能,助力企业营销决策_第1张图片

MAB 智能调优实验的创建也非常简单,根据实验设计方案将基本的信息依次按照提示创建好后,就可以将不同的营销落地页的 url 输入在不同的实验版本中,调优开始后,DataTester 将会按照不同落地页的转化,动态调整流量。

火山引擎DataTester升级MAB功能,助力企业营销决策_第2张图片

当调优开始后之后会看到哪些数据呢?

常规实验更关注的是优胜组的选择,而 MAB 实验相更关注的是,整个实验期间整体核心指标达到最优,所以实验报告首先会关注整体收益的情况。比如落地页的核心调优指标为 App 的启动转化,那么报告中会呈现整个调优过程中 MAB 相对于 AB 实验,到底提高了多少收益。

火山引擎DataTester升级MAB功能,助力企业营销决策_第3张图片

除整体收益提升外,企业通常还需要观察一些明细数据。DataTester 同时提供了核心指标明细表、核心指标明细图和实验流量分配图,便于分析更多内容。比如下图,核心指标绝对趋势图中,版本指标之间的大小关系对应到流量分配图上的流量分配,该时刻核心指标越大的版本,会在流量分配图上呈现越多的流量。

火山引擎DataTester升级MAB功能,助力企业营销决策_第4张图片

核心指标明细绝对趋势图

火山引擎DataTester升级MAB功能,助力企业营销决策_第5张图片

实验流量分配趋势图

“核心指标明细绝对趋势图”显示了不同实验版本在各时间点的表现,有助于发现哪个版本在整体表现上更优秀;“实验流量分配趋势图”则展示了各版本在不同时间点的流量分配情况,这有助于了解哪些版本更受用户欢迎。通过这些数据企业将可以更好地理解用户需求和市场变化,从而制定更有效的营销策略。

此次 DataTester 升级后的 MAB 功能,将为企业营销决策提供更强大的支持,帮助企业快速找到最佳的营销策略,实现更高的投资回报率。

据了解,火山引擎 DataTester 源自字节跳动 AB 实验的长期沉淀,2023 年中数据显示,字节已通过 DataTester 累计做过 240 万余次 AB 实验,日新增实验 4000 余个,同时运行实验 5 万余个。DataTester 目前服务了包括美的、得到、博西家电、凯叔讲故事等在内的上百家企业,为业务的用户增长、转化、产品迭代、运营活动等各个环节提供科学的决策依据,将成熟的“数据驱动增长”经验赋能给各行业。

点击跳转DataTester了解更多

你可能感兴趣的:(火山引擎,人工智能,大数据,ab测试)