敏感数据抽取
2018-04-03 11:07:08 12 举报mark
作者其他创作
大纲/内容
结果数据
标准化后Topic
节点路径缓存
redis
审计门户
10001iap
AppOperateType
FTP服务器
binlog
入mysql
ID=ID2=ID3
失败
前置门户改造
金库专题、合作伙伴主题、申请授权站提
入es
北京4A数据库
AppResource
待标准化的Topic
成功
各资源池审计日志采集与分析
TCP
STF:B结束，A才能开始
解析-死信
uapAppCode缓存
解析（1）
审计自监控
flume采集的Topic
全网敏感平台
解析（10）
data_syn_mysqlapp.log=golddata_syn_mysqldevice.log=device
更新缓存
日志从中间件读入
应用日志标准化
数据模型改造
pulsar
通用
标准化
各节点应用日志实时查询
监控平台
nameSpaceapp.log=gold
审计系统
读取
主账号：命名规则
审计库
创建策略
应用
mysql
前置
是
入mysql-死信
现场池
静态页面法
涉敏上报
用户
sink入oracle
组织机构缓存
审计策略
分析平台：hadoop等
解析
flume
写回死信
报表基于sql
标准化-死信
报表分析平台
金库、绕行日志标准化
审计库(db 10)
...........
数据存储
涉敏数据接口文件审计
uap10000
1、flume采集的日志
审计任务
死信达到一定条数或大小？
3、写入mysql（人工分析），移除队列中数据
离线分析
失败，超过5次
采集前端化
基于kettle的sql分析
日志写入到中间件
监控模块
人工干预，放到死信重试
标准化死信日志
数据分析
FTP
FTP，xml格式
业务支撑中心本地及外部分需求
采集范围扩充
审计任务场景结果表
写入缓存
自动化审计
分级审计树展示
实时分析
主机
异常数据容错、重试模块
数据库
死信重试（手动启动表准化处理死信插件）
FTF:A完成B才能完成
oracle
二节点
原始报文
统计报表查询
缓存集群
解析后日志
失败并且标签不符合：打标签，放回
入库
3A（db 20）
nameSpaceapp.log=Dictinorydevice.log=device
解析后的topic
策略结果表
A
数据导入结果表
data_syn(同步)
解析失败
标准化 服务
sessionDetail
写入
集中化
策略多线程处理
缓存服务
标准化后日志
数据处理
表查询、导出
替代sql的业务分析
前置资源池日志收集
高并发处理
ES
标准化后topic
bankIsNeedOpen
金库专题
成功/失败
审计整改自动复核
缓存redis
入es-死信
jvm深度管理
SOAP
死信重试（手动启动解析处理死信插件）
策略分析平台
多线程、高并发处理
多用户并发.......
数据采集
接入数据库审计
缓存同步服务
数据库审计
unix主机访问异常
子父关系缓存
网络
负载均衡
应用资源iuap
STS:A、B同时开始
redis缓存处理
苏州、郑州双中心
1、更新单表redis2、单表初始化3、标准化查询单表4、查数据库
外挂程序审计
自助终端日志
采集
2、监控（）
审计日志收集上报日志接口
策略基于sql
解析后死信
失败且没有标签打标签（失败次数），放回队列
解析function
策略分片处理
FTS:A完成B开始才能开始
机器学习
审计管理（7期）
组织机构
涉敏策略
B
3A库
查询缓存
监控死信
方海的上报程序，生成1个文件每天上报一次（12002）
基础数据同步服务
....
前置审计能力改造
topic1
采集重构
前置报表
死信
绕行审计
涉敏数据接口文件上报
系统日志标准化
0 条评论
下一页
