AppAdhoc A/B Testing使用文档
2021-04-13 19:56:02 0 举报AI智能生成
AppAdhoc A/B Testing使用文档
作者其他创作
大纲/内容
A/B测试的本质是分离式组间试验，也叫对照试验，在科研领域中已被广泛应用（它是药物测试的最高标准）
三大特性
先验性
A/B测试其实是一种“先验”的试验体系，属于预测型结论
先将版本发布，再通过数据验证效果
A/B 测试却是通过科学的试验设计、采样样本代表性、流量分割与小流量测试等方式来获得具有代表性的试验结论
并行性
A/B测试是将两个或以上的方案同时在线试验，这样做的好处在于保证了每个版本所处环境的一致性，便于更加科学客观地对比优劣
科学性
流量分配的科学性
A/B 测试的正确做法，是将相似特征的用户均匀的分配到试验组中，确保每个组别的用户特征的相似性，从而避免出现数据偏差，使得试验的结果更有代表性
使用误区
误区一：轮流展现不同版本
误区二：选择不同应用市场投放（随机选取用户测试）
误区三：让用户自主选择版本
误区四：对试验结果的认知和分析过浅
A/B 测试可以用在哪里
优化内容
产品UI
文案内容
页面布局
产品功能
推荐算法
应用场景
广告着陆页
Web/H5 页面
APP用户体验
媒体广告投放与管理
灰度发布
数据决策
1、优化指标的选取
常见优化指标
访问人数
按钮点击次数
转化率
支付成功率
2、分析数据，调整试验
错误检查
置信区间的解读
统计显著和效果显著
解读非统计显著
统计功效的计算和解读
非统计显著时的统计功效
统计显著时的统计功效
3、根据结果，选出最优版本
A/B 测试的统计学原理
0 条评论
下一页
为你推荐
查看更多
