数据流
2022-03-22 12:03:41 0 举报
数据流
作者其他创作
大纲/内容
(内置/自定义)威胁检测规则/威胁情报/检测白名单
分析结果
kafka集群
原始数据包/还原的文件(任务查询/指定提取告警上下文):部分原始数据包/原始文件
威胁检测
kafka
消费者
冷数据
采集器
存储缓存
流处理
存入L7层元数据日志到CK:HTTP访问日志/DNS访问日志/文件传输日志(富化后)
自研时序性数据库:非结构化数据存储(原始数据包/文件/邮件)
L4层会话统计数据(系统默认统计):IP地址统计表/IP会话统计表等
探针
协议识别
数据存储
客户原始网络流量(边缘交换/核心交换/二层交换等)
存入原始数据包/文件到Minio:部分原始数据包
威胁告警日志(威胁检测实时命中结果):数据包特征值告警日志/web攻击告警日志/行为检测告警日志
存入L4层会话统计数据到CK:IP地址统计表/IP会话统计表等(二次汇聚后)
ES
流量镜像采集
(按需)L7层元数据订阅策略/文件还原订阅策略
自定义模块
实时查询
应用层
ELOG
KStream
(手动配置/自动识别)资产/网段配置/数据查询任务
Flink
L7层元数据日志(根据订阅策略自动识别解析):HTTP访问日志/DNS访问日志/文件传输日志
会话统计
ClickHouse/Cassandra/......
元数据提取
离线查询/分析任务/Flink(流、批处理)
KTable
自研时序性数据库:结构化数据存储(会话统计数据/警报日志/元数据日志)
存入威胁告警日志到ES:数据包特征值告警日志/web攻击告警日志/行为检测告警日志(近实时)
0 条评论
回复 删除
下一页