数据采集和预警
2019-08-06 15:09:53 0 举报普数
作者其他创作
大纲/内容
SparkStreaming
云数据库
1小贷请求数据
状态4
MQ
客户
消费
......
收到监听消息，把文件分批次落地到数据库
小贷
保存一份原始数据
Y
对status路由
Hbase/kafka
客户接口
Hbase（集市）
3根据获取的请求，到相应的接口获取数据
数据文件.data
数仓Hbase
普数接口对接：异步
预警配置表
Flume
发送邮件
数据请求接口
普数爬虫
5消费数据
判断返回数据是否正常
1消费
Kafka type + sid
4产出指标
kafka消息
3返回数据
收到监听消息，把数据抽取到数据仓库
数据采集
2.数据上传完毕上传校验文件
2.数据上传完毕调用通知接口
通知接口
落地到hive错误库
shell 传参
2普数异步尝试3次请求数据
SparkStreaming（逻辑计算）
1.上传数据文件
数仓离线
更新云数据库
审计（Hbase和Kafka）
业务系统
预警
数据仓库
风控
Kafka
发送kafka
征信
实时监控数据文件
大数据各模块发送预警消息
落地到hive
2收到接口响应
Hbase（ODS）
N
校验，生成校验结果字段status
触发文件落地到Hbase/kafka
Kafka（预警信息）
1发送请求
方案1：监听校验文件，按批次落地数据
触发数据抽取ETL
合成json
普数接口对接：同步
指标库
2普数请求数据
普数接口对接
FTP服务器
普数云数据库对接：
Kafka（数据）
通知接口规范
1.上传数据
2获取请求
2获取配置表校验
状态1
方案2：实时监听数据文件
预警消息规范：{\"title\
3返回数据到Kafka
kafka数据
普数FTP对接：
检验文件.checksum
实时处理
0 条评论
下一页
