大数据平台产品体系架构

BI体系

流式策略

原子指标

标签\\特征\\人群包存储HBASE

明细表（明细数据集）

查询分析

元数据

标签

刻度化

标签加工与指标加工

加减乘除

客户端

先觉·AI平台

报表/看板

Spark

事实标签

实体/统计粒度

数据驾驶舱

数据集管理

指标管理

数据标准

Hive

权限服务

先鉴·智慧运营

事件消息

定义

省公司

API点查

数据仓库

营销自助平台

元数据服务

业务总览

仪表板

统计周期

推荐策略

DWD

标签（枚举）

统一维度管理

画像服务

全景画像

聚合表（派生指标结果集）

业务限定

使用监控

内部用户

离线策略

事实标签数据

圈选服务（标签\\明细\\本地上传）

数据资产

标签管理

智慧运营

数据源管理

智慧运营体系产品架构

指标/维度市场

标签服务

外部标签数据源

标签市场

运营分析

群体圈选服务（API）

加工

报表加工

衍生指标

智能决策

生产DB

决策服务

AI

资产监控与治理

Oracle

实体管理

即席查询

标签类型

消息中心

大数据平台

诊断服务

标签\\特征\\明细数据存储CLICKHOUSE

维度市场

本地/自定义表上传

AB实验

管理中心

1、标签、特征数据服务链路相同；标签特征使用场景上不建议刻度化；2、标签、特征、指标加工链路都可以基于指标加工体系；3、平台功能上，指标、标签、特征、维度市场统一纳入数据资产；现有数据标准改为指标管理平台，定位为指标加工与管理工具，服务于BI、AI和全景画像？

申请与审批

开发中心

ClickHouse

标签/特征市场

实时计算

审核人配置

MySQL

逻辑构成

营销策略

数据管理

建设中

离线计算

1. 标签是对象的属性，颗粒度到字段级“标签”则是指从原始数据清洗加工而来，能够为业务所用并产生价值的数据资源，一般都需要结构化到字段粒度，保障服务化使用。（标签类目体系）2. 标签是合成性思维、聚合式思维，讲究的是化零为整，将多个分散的指标按照一定的原理进行综合加工，得出概括性的结果;

产品运营

决策计算

智能应用

标签定义&派生

数据分析体系产品架构

活动分析

数据服务

标签（统计类）

指标

数据标准指标加工/管理

APP

BI平台

指标市场

配置管理

A

派生

DWS

特征\\标签\\指标数据链路

统计粒度

维度管理

多维分析

订单/行为/营销数据

数据总线

应用嵌入

资产总览

实体/数据源管理

标签查询服务

规范问题：明细数据集+原子指标： 用于多维分析、报表加工（不做限制）；派生指标结果集： 用于报表加工（不可进行二次加工？）；数据集是否要解耦；chuanjun:流程长，比较割裂；数据集修改比较麻烦；jiayu:不知道数据集和原子指标的意义；希望流程更简单；shiwei:在自助BI可以自由、完整的探索；当前自由度不够；仪表板展示有问题；支持新增计算字段；指标衍生计算；huangluo:需要支持新增计算字段；小计\\合计计算；新增对比字段，把对比字段的维度展开；baohong:流程长；业务需要明细数据，直接做计算；还希望进行逻辑关联；yangyan:报表可以弱化数据规则，不必做原子指标的限制；报表加工支持算子，支持数据格式修改；wenbo:层级过多，修改不便，灵活性不够；规范和灵活的取舍；明细数据集和聚合数据集的边界需要明确，数仓给出；yijie:平台不好用，上线后没有及时使用，需求扎推；管控和体验的平衡点不明确；需求要明确；数据标准改过2版；Vince：数据规范掌握在数仓手上；规范对接文波，杨焱

DataX

标签清单服务

数据目录

Presto

OLAP引擎

逻辑运算/四则运算

决策配置

全景画像标签/特征管理

操作审计

派生指标

标签/特征注册与派生

B

系统配置

规范建表

规则标签

人工标签定义

群体管理

ODS

指标加工与管理

群体圈选

1.指标是说明总体综合数量特征的概念，所有指标能用数值来表示，一个完整的 统计指标 ，一定要讲时间、地点、范围;2.指标是生产性思维、拆解式思维，讲究的是化整为零，将事物分解开来进行多角度的描述，得到很多的指标;

分析服务

应用

策略配置

一期实现

定义方式

标签派生

预测标签

查询路由

OceanBase

商户

资源管理与分析

应用渠道

自定义数据

Flink

权益平台

衍生原子指标

模型训练

已具备

策略审核

权限管理

~

三期实现

数据加工

报表查询

质量监控

二期实现

在线推断

数据洞察

∩

用户