ResourceManager
2018-02-03 13:20:51 14 举报
AI智能生成
kafka consumer
作者其他创作
大纲/内容
Simple Consumer
手动管理offset
每次从特定Partition的特定offset开始fetch特定大小的消息
完全由Consumer应用程序决定下一次fetch的起始offset
使用的主要原因
同一条消息读多次,方便Replay
只消费某个Topic的部分Partition
管理事务,从而确保每条消息被处理一次(Exactly once)
与High Level Consumer相对
在应用程序中跟踪处理offset,并决定下一条消费哪条消息
获知每个Partition的Leader
处理Leader的变化
处理多Consumer的协作
High Level Consumer
自动管理offset
auto.commit.enable=true
auto.commit.interval.ms=60 * 1000
手工管理offset
ConsumerConnector.commitOffsets()
offset存储
offsets.storage=zookeeper
dual.commit.enabled=true
分支主题
auto.offset.reset
收藏
0 条评论
下一页