知化平台架构
2021-03-24 18:01:58 0 举报
登录查看完整内容
组内知化平台架构/大数据架构/
作者其他创作
大纲/内容
去重
元数据管理
统计分析库
增加
智能调度
机器学习
告警监控
运维自动化
企业微信机器人
opentsdb
运维保障
存储层
加工
grafana
离线计算
Sqoop
清洗
PUSH
SDK采集
mongedb
HW-CES日志转储
K8s-Hbase
Shell/Python
智能检测
prometheus
大数据-算法团队
数据质量
监控报警（当前具备功能百分比：85%）
AI
任意HW-OBS文件
开发IDE
外部数据源
自实现算法
K8s-OpenTsdb
Mysql
Flink SQL/Streaming
hive
平台能力层
数据查询（当前具备功能百分比：80%）
Map/Reduce
转换
业务数据源
docker-redis
docker-mysql
模型算法（4～6月具备功能百比：60%）持续完善
Load
数据分析（7～8月具备功能百比：50%）持续完善
Spark SQL/MR
智能数据平台
解析
Flume
模型训练
事件源
分类
筛选
调度工具
用户数据
TensorFlow
HDFS
输出方式
flume
知化平台方向
计算层
Prometheus/Thanos
HiveMall
inflxdb
规则应用
中间层
Open-Falcon
任意业务容器服务内文件
数据服务层
实时计算
收藏
职业：暂无
0 条评论
回复 删除
下一页
