解决kafka单点过热问题
2020-07-31 14:27:42 0 举报解决kafka单点过热问题
作者其他创作
大纲/内容
更新合作方用户表中消费状态为异常、运行状态为正常
分区3
当前系统时间减去写kafka时间与设置时间比较
队列4
kafka生产者
队列N
接口是否调用成功
消费者N
......
更新合作方用户表中消费状态为异常、运行状态为异常
N个线程
消费者3
消费者4
定时调度所有端平台agent服务心跳接口
分区1
分区4
判断端平台-agent是否正常消费、进程是否存在
小于等于
队列3
大于
分区N
按照业务唯一标识span style=\"font-size: inherit;\
查询所有端平台agent运行状态、消费状态接口
队列1
业务量大后可以加入阻塞队列多线程处理，防止单点过热问题
无车支撑服务
kafka消费者
kafka
开始
消费者1
结束
分区2
队列2
kafka topic 消息数据
是
否
业务处理
更新合作方用户表中消费状态为正常、运行状态为正常
消费端最多可以启动N个线程消费数据。
消费者2
0 条评论
下一页
为你推荐
查看更多
