flume-collector
2017-03-24 19:25:53 0 举报
登录查看完整内容
为你推荐
查看更多
Flume-collector是Apache Flume的一个组件,主要负责接收和聚合来自不同数据源的数据。它通过监听不同的数据通道,将数据收集到指定的存储系统中,如HDFS、HBase等。Flume-collector具有高可用性、可扩展性和容错性,能够处理大量的数据流,并支持多种数据格式,如文本、JSON、Avro等。此外,Flume-collector还提供了丰富的配置选项,以满足不同场景下的需求。总之,Flume-collector是一个功能强大、灵活易用的数据收集工具,广泛应用于大数据处理、日志分析等领域。
作者其他创作
大纲/内容
flume-collector
kafka-consumer--topic service1-- partition 1 -- offset 100-- loguuid
service1-log
实时日志
topic: log-service 有对应关系partition: 通过uuid 计算出来offset: 最后一个loguuid: web 界面可以看到
service1-topic
topic 有 10 个partition 根据loguuid那么就会分散到各个partition
0 条评论
回复 删除
下一页