flume-kafka2
2016-05-06 17:12:55 5 举报
Flume-Kafka2是一个基于Apache Flume和Apache Kafka的数据传输工具,用于实现实时数据流的收集、处理和传输。它允许用户将数据从各种源(如日志文件、数据库等)收集到Kafka集群中,然后通过消费者应用程序对数据进行处理和分析。Flume-Kafka2具有高吞吐量、可扩展性和容错性,适用于大规模数据处理场景。同时,它还提供了丰富的配置选项,以满足不同用户的需求。总之,Flume-Kafka2是一个强大且灵活的实时数据处理工具,可以帮助企业快速构建高性能的数据管道系统。
作者其他创作
大纲/内容
FileOutput Sink
服务B 节点#1
服务日志logback.log
Flume Agent
Producer
Kafka
服务A 节点#3
Kafka集群
Broker
服务日志localhost_access.log
日志收集服务器(存储型)
服务B 节点#N
服务A 节点#1
Kafka Source
PAAS平台(based on K8S & Docker)
服务B 节点#3
Zookeeper协调器
服务A日志.YYYYMMDD
Exec Source(tail -F)
MemoryChannel
Consumer
服务A 节点#2
服务A 节点#N
Kafka Sink
服务B日志.YYYYMMDD
服务进程
服务B 节点#2
0 条评论
下一页