flume内部架构
2021-01-20 14:45:40 16 举报
111
作者其他创作
大纲/内容
Sink1
ChannelSelector有两种类型Replicating Channel Selector (default) 发送到所有Multilexing Channel Selector 可以选择发送到哪
event1
Transaction
takeList
Channel 组
拦截器1
Sink常见类型：HDFS、Kafka、logger
接收事件
Sink处理器
拦截器
Source
接受事件
doCommit
选择器
Put事物流程：* doPut ：将批数据先写入临时缓冲区putList* doCommit：检查channel内存队列是否足够合并* doRollback : channel 内存队列空间不足，回滚数据
Channel2
Sink2
Sink3
Channel选择器
推送事件
Take 事务* doTake ： 先将数据写到临时缓冲区takeList* doCommit： 如果数据全部发送成功，则清除临时缓冲区takeList* doRollback: 发送异常，数据回滚
深化Flume架构
doRollback
Channel处理器
batch data
Sink
doPut
Flume自带channel类型：Memory Channel （内存）和 File Channel（持久化）
拦截器2
event2
Channel3
Channel
Channel1
拉取事件
doTake
putList
。。。
插拔式轻量级组件
eventn
Sink组
0 条评论
回复 删除
下一页
