日志收集
2020-07-20 11:28:56 0 举报slog
作者其他创作
大纲/内容
记录连接异常待下一次重连
进程4
1. HTTP 模块
每个进程只处理自己对应的topic的数据确保同一个应用的数据被同一个进程处理
消费topic模块
应用A 队列
管理系统中，不同应用分配不同的TOPIC
key1
监控报警协程
OMS
应用C 队列
位点控制
output
失败
处理数据同步
map[string]map[string]uint64
map
1. 安装fluentd2. 修改配置3. Reload fluentd
MySQL
LIST
同步协程1个
openTSDB
正常
应用1
存储结构
存储同样的数据都是指针
signal 信号
成功
1. 新增topic 启动2. 被移除的topic 进程停止及退出
5秒没数据进入
PDM
批次大小
Topic3
应用2
manager http 接口进程配置
ＲMS 报警
OSS
管理系统管理多个机房
TOPIC3消费模块
写入S3
0
WMS
数据写入
200
第一条
Topic1
5.回写统计内容
.....
重连成功
TOPIC 消费模块 2
key3
运维工具Salt
处理数据上报
2. 获取配置
Topic4
Kafka
统计协程
获取日志信息
应用3
追加
TOPIC2消费模块
应用机器
第一层
存储
TOPIC1消费模块
S3
读 /1分钟
连接是否正常
第三条
100
kafka client1个协程解析成json对象
1. status 1). 消费topic的列表 ，位点信息，同步数据条数，报警条数 2). 所有同步的连接信息，及错误信息 2. debug 信息 1). 需要输入密码才能访问，密码在一个独立配置中配置
内存队列
统计数据
进程2
消费同步进程 1
manager http 接口 统计上报
...
应用B 队列
key2
5分钟
清空LIST
写
启动
管理系统
1. 配置解析
PMS
KafkaTopic
ClickHouse
值
Elastic
消费队列1个协程
暂停消费
同步及报警进程
同步逻辑 3
第二条
RMS
第二层
重连
Topic2
0 条评论
下一页
