写给数据产品经理新人的工作笔记｜07 数据应用和第三方平台 S1

除了报表，数据融入业务流的形态是什么？

多版本测试、用户画像、策略库这些看似复杂的应用是以什么样的产品形态出现的？

“江湖传说”中无所不能的DMP是什么？

常见的第三方工具都封装了什么？

---

在探索数据的过程中，有一个目标是希望找到业务行为和数据反馈之间的因果关系，即什么样的业务决策导致了什么样的数据反馈。

在一些数据体系的设计中，这部分工具不属于“数据产品”，被定义为“策略产品”，从事产品设计的角色被称作“策略产品经理”，这一角色是和数据产品经理严格分开的。但是从整个数据业务的视角来看，这部分工作是数据分析闭环的重要组成部分。

1．多版本测试的实验设计原理和流程

在用户研究领域，除了实验法，我们常用的方法还有观察法、问卷法和访谈法。

实验法，具有几个显著特征：

·可以基于大样本。

·实验研究要控制变量，人为设定情境。

·目的在于揭示变量之间的因果关系。

·有严格的研究设计，包括抽样、实验方法选择、程序设计、分析方法等。

Step 1．提出目标和基本假设。

目标包含两部分，一是通过什么方式，二是达到什么目的。

Step 2．确认自变量，选择实验方法。

实验设计可以分为非实验设计、真实验设计、准实验设计、多因素实验设计等类型。

Step 3．数据采集和计算方案。

Step 4．实验实施并建立监控。

Step 5．数据解读和效果评估。

设计实验工具的重点就是，考虑如何满足所有主要方法的通用诉求：抽样方法、分组、分版本实施、前测/后测。

实验结束后的效果评估数据反馈分为两部分。

·描述性统计结果。

·显著性检验结果。

描述性统计结果是根据前期配置的指标和维度计算的。主要包含均值、标准差、中位数、四分位数和它们在测试期间的趋势。

显著性检验结果包含均值检验、方差检验，结论返回对应检验方法的P值和不同置信水平的检验结果。