flume内部架构
2021-01-20 14:45:40 16 举报
111
作者其他创作
大纲/内容
Sink1
ChannelSelector有两种类型Replicating Channel Selector (default) 发送到所有Multilexing Channel Selector 可以选择发送到哪
event1
Transaction
takeList
Channel 组
拦截器1
Sink常见类型:HDFS、Kafka、logger
接收事件
Sink处理器
拦截器
Source
接受事件
doCommit
选择器
Put事物流程:* doPut :将批数据先写入临时缓冲区putList* doCommit:检查channel内存队列是否足够合并* doRollback : channel 内存队列空间不足,回滚数据
Channel2
Sink2
Sink3
Channel选择器
推送事件
Take 事务* doTake : 先将数据写到临时缓冲区takeList* doCommit: 如果数据全部发送成功,则清除临时缓冲区takeList* doRollback: 发送异常,数据回滚
深化Flume架构
doRollback
Channel处理器
batch data
Sink
doPut
Flume自带channel类型:Memory Channel (内存)和 File Channel(持久化)
拦截器2
event2
Channel3
Channel
Channel1
拉取事件
doTake
putList
。。。
插拔式轻量级组件
eventn
Sink组
0 条评论
下一页