Kafka优化和Flume优化
2024-03-14 11:32:45 1 举报Kafka优化和Flume优化是处理大数据流的关键技术。Kafka优化可以提高其吞吐量，减少延迟，提高容错能力，方法是优化参数设置、提升网络性能、合理分配分区等。Flume优化则关注提高数据的摄入和传输效率，方法有选择合适的数据压缩方式、合理设置缓冲区、优化通道设置等。
作者其他创作
大纲/内容
异步磁盘刷盘核心线程发现需要刷盘时，直接生成刷盘任务 并将刷盘任务通过无锁队列推送给刷盘进程
更多的replication
增加Partition 数目
GC优化生产消息进行校验时会针对每条消息生产消息对象 导致大量消息对象产生采用ByteBuffer二进制数据上进行消息校验，这样在整个消息校验中就不会生成任何消息对象 较低JVMGC的压力 提高系统性能
Kafka优化
Source增加Source个数和batchSize
Channel使用file Channel时dataDirs配置多个不同盘下的目录可以提高性能
批量写入
锁优化broker仅有的请求队列替换无锁请求队列
Flume优化
Sink增加Sink的个数可以增加Sink消费event的能力
GC优化-xmx和-xms设置相同值，避免在 GC 后调整堆大小带来的压力JVM heap（堆内存）设置4G或更高
0 条评论
下一页
