monitor
2017-07-26 19:22:35 0 举报
监控流程，监控流程，监控流程，监控流程，
作者其他创作
大纲/内容
开始
异常定位
否
监控数据存储平台
分渠道实时汇集eshows数据
配置告警规则
获取元数据
边
实时指标计算
利
是
告警详情
缓存配置信息
发送告警信息
实时监控数据采集
计算index1
告警和容错
添加消息到告警队列
拉起AFD 数据处理流程
app名字
appid
开始时间
execute数量，mem大小
实际分配execute数量，mem大小
成功task数量/失败task数量
完成batches/block batches
数据延迟率
健康状况
任务运行地址
streamAdui
application_1498389779681
20170726170000
45/120G
45/100G
1000/0
1000/1
0%
健康
http://...
...
前一天是否为节假日
重试
加载实时数据，计算平滑度，波动等指标
告警配置
监控数据存储系统（mysql，redis等）
人力资源管理
数据可视化
从bigpipe消费数据
配置告警对象及级别
是否异常
采集数据
生产
际
实时流处理日志信息搜集
告警跟踪处理
企业基础设施
获取配置
润
app
UI 展示
监控指标评估衡量
元数据管理和配置
基本活动
计算查查准率和召回率
配置元数据信息
基础层表
值班人员处理告警
异常任务队列
分渠道汇聚明投离线计费数据
日期
报警内容
具体原因
负责人
问题类型
20170726 10
数据延迟10分钟
配置设置参数
AFD、ALS、计费数据处理
bigpipe消费记录
和上周同比比较
数据清洗
离线hive 数据库
回溯和重试
计算监控指标indexn
结束
异常处理
实时流数据库
和前一一天比较同比
实时指标数据计算
研发
监控规则定义
实时流监控
公司基本架构
配置告警模板
数据采集与计算
当前时间段向前退2个时间段，获取周同步和日同比
ods/bp基础
拉起ALS 数据处理流程
获取上次读取的偏移量信息
客服
是否成功
自动优化告警阈值
和上上周同时段比较同比
pipelet id
发布方偏移量
订阅偏移量
1
1000100
100080
2
100098
3
100095
读取配置文件环境变量等
分渠道汇聚暗投离线计费数据
分渠道汇集百通离线数据
告警对外输出
加载配置信息
数据清洗过滤
实时流处理模块
是否是抖动等
异常告警
根据规则预警
监控指标生成
mds
告警
生成告警队列
数据集市层
流程任务调度系统
原始层数据
数据汇集
分渠道实时汇集计费数据
是否继续
计算监控指标index1
离线数据采集
分渠道汇聚离线als 数据
辅助活动
更新元数据
实时/离线数据接入
运行日志
数据异常检测
监控配置
应用告警配置成告警信息
streaming 任务
pipelet 监控
和当天的前2个时段比较环比
评估告警指标，生成置信度
节假日
监控告警跟踪处理
主题数据
根据告警配置推送告警
信息系统
实时流处理全局视图
icafe建立新卡片
ods/bp 基础数据
提取告警规则
告警信息展示
营销
邮件，短信，电话等告警
pv，epv，show等实时指标
关系型数据库/时序数据库存储系统
拉起计费数据处理流程
周1or周6
告警决策，生成告警信息到告警队列
监控告警信息配置
告警处理
告警信息发送
预警，加载数据到预警队列
是否触及阈值
实时流处理框架流程
数据源实时信息拉取
加载配置文件
数据清理
上周是否节假日
......
0 条评论
回复 删除
下一页
