Kafka线上环境规划
2024-05-31 23:20:04 7 举报
Kafka线上环境规划是一项关键的基础设施部署任务,旨在确保Kafka集群的高可用性、可扩展性和性能。规划内容包括:1. 确定Kafka集群的规模,如broker数量、topic数量和partition数量。2. 选择合适的硬件配置,如CPU、内存和磁盘空间,以满足Kafka的负载需求。3. 设计数据的备份和恢复策略,如采用副本数、同步复制或异步复制。4. 规划监控和报警体系,以便及时应对潜在问题。5. 考虑安全性,如采用SSL加密、认证和授权机制。6. 制定维护和升级计划,确保Kafka集群的稳定运行。通过合理的规划,可以打造一个高效、稳定的Kafka线上环境,为企业提供可靠的消息传输服务。
作者其他创作
大纲/内容
10*2=20亿数据
规划5到6台物理机较为稳妥(高并发系统一般都是用物理机)每台机器承载几万QPS每台机器分配3到4个T的机械磁盘
20*7=140亿数据
QPS:6万/s
一般需要在QPS均值上扩大5到10倍应对瞬间高峰流量
140亿KB
磁盘容量近14TB
每秒近6万条消息
6台16核32G物理机,每台3TB磁盘
8亿数据集中在4小时
80%的数据集中在20%的时间产生
QPS:6*5=30万/s
数据假设默认保留7天(视业务情况而定)
kafka启动和broker内部会有很多线程同时运作,一般建议机器cpu核数尽量多点。kafka写消息到磁盘中间会用到大量的os cache,所以把内存多分配点。
亿级流量电商(每日点击上亿次)
topic一般设置副本数为2
假设一条数据1KB
日均十亿消息数据
千兆网卡/万兆网卡
每秒6万条消息,差不多每秒要传输60M的数据峰值时差不多两三百兆,一般用千兆网卡差不多了,可能峰值流量过来会打满网卡,因为千兆网卡实际能传输的可能每秒就一两百兆当然能用万兆网卡最好了,不过要综合考虑成本因素
0 条评论
下一页