达观实验平台
2021-04-13 19:57:37 0 举报AI智能生成
达观实验平台
作者其他创作
大纲/内容
数据驱动
产品创新和决策都需要快速得到用户反馈的数据去不断的迭代更新
A/B test实验
产品的新特性是否会受到用户的欢迎？
新优化的模型和策略的线上效果如何？
如何低成本的进行快速且量化的效果验证？
产品能力
支持同时运行多个并行实验
支持多种分流模式
支持自动灰度发布
支持实验效果的实时反馈和可视化
谷歌分层实验框架
分层实验模型
实验空间划分
纵向：域
横向：层
实验
实验是指在一个流量划分上，进行零个或多个参数的修改，并最后改变请求处理的过程
特性
特性1：纵向域划分，横向层划分
特性2：相互关联的策略参数位于相同实验层，相互独立的策略参数位于不同实验层
特性3：流量在不同实验层之间根据不同的分流策略被重新分配，不同层的实验流量是正交的
特性4：不同实验层之间的实验相互独立
特性5：模型的发布层（Launch Layers）可以实现实验流量的灰度发布直至全流量发布
流量分配策略
策略1：随机分配
优点是简单自然
缺点是用户的请求会在不同参数集的实验中“穿梭”，造成用户体验上的不一致性
策略2：按照cookie或用户id取模进行分配
可以确保用户的请求被分配到固定的实验中，不会造成用户体验的不一致
策略3：按照cookie+日期取模进行分配
一个实验一天内圈定的cookie是固定的，但随着日期的变更会圈定不同的cookie
策略4：按照业务字段进行分配
可以满足特定的实验流量要求
策略5：hash查询串取模进行分配
相同的查询串请求可以分流到确定的实验上
流量分流条件
分流条件（condition）通过仅分配特定条件的流量给实验域，以达到更高效利用流量的目的
灰度发布策略
灰度发布是一种常用的发布流量控制策略，是指在实验的过程中根据实验的效果逐步加大实验流量同时持续跟踪实验效果直至最终全量一个实验
过程
1、创建一个实验或是一组实验来评估特性
2、评估实验指标
3、如果特性可以发布，就进入发布过程
达观分层实验平台架构
实验配置管理中心
实验创建
实验流量分配
实验启动
实验暂停
实验删除
实验权限控制
实验持久化
实验分析与展示中心
对一个实验的不同参数集（实验bucket分桶）的结果数据进行横向对比（通常与基准实验作对比）
对实验基于时间维度的纵向效果作对比
在线服务系统（实验执行环境）
职责1：定时从数据库中同步实验数据信息
职责2：实验流量决策
0 条评论
下一页
