kafka-exactly-once
2016-10-19 16:06:42 0 举报
登录查看完整内容
Kafka-exactly-once是一种消息传输协议,旨在确保在分布式系统中的消息传递具有原子性和一致性。它通过使用事务日志和消费者组协调器来实现这一目标。当生产者发送消息时,它会将消息写入事务日志,然后将其提交给协调器。协调器会检查所有消费者是否已成功处理该消息,如果所有消费者都已确认,则提交事务日志并释放锁。这样,即使出现故障或网络延迟,也能保证每个消息只被处理一次,从而确保数据的完整性和可靠性。
作者其他创作
大纲/内容
SchedulerBuilder根据调度策略排序TaskSetManager
SchedulerBackend资源分配
预计算
Executor
数据库连接器/Presto
EStat
Mysql
mysql物理表:h5_login
数据查询
SQL优化
数据库连接器(Presto)
SQL解析
平台服务
调度系统RPC
数据查询接口
Scheduler
W后台(元数据管理)
临时缓存
调度系统
数据统计
DAGScheduler
存储层
GP
创建任务接口
元数据管理
SQL执行
逻辑表:h5_login
Hive
数据流
缓存
创建表接口
数据修复接口
TaskSetManager
Driver
ExecutorBackend
TaskScheduler
接口
元数据RPC
控制流
权限校验
查询统计
Web界面
gpl物理表:h5_login
数据查询服务
Application(源点)
ETL
Greenplumn
任务管理
0 条评论
回复 删除
下一页