日均10亿消息数据处理
2021-08-11 14:08:45 0 举报
KAFKA日均10亿消息数据处理,设计预案
作者其他创作
大纲/内容
日均10亿消息数据
8亿数据集中在4小时
10*2 = 20亿数据
QPS:6万/S
topic一般设置副本数为2
14亿KB
开始
磁盘选择普通的机械硬盘即可,没必要像选择MSQL那样选择SSD,SSD性能高在随机读写,但是KAFKA跟多的是随机读写,这种情况下使用普通的机械硬盘和SSD硬盘差别不大,但是SSD价格要贵很多,没必要
每秒6万QPS
QPS:6*5=30万/S
数据设置默认保留7天(根据需求调整)
磁盘容量:近14TB
规划5到6台物理机较稳妥(高并发系统一般都使用物理机,每台机器承载几万QPS,每台分配3到4个T的机械硬盘)
一般需要在QPS均值上放放大5到10倍应对瞬间高峰流量
20*7 = 140亿数据
80%的数据在20%的时间产生
每秒60条消息,差不多每秒要传输60M的数据,峰值可能两三百兆,一般用千兆网卡差不都了,可能峰值流量过来会打满,因为千兆网卡实际传输的可能也就两百兆左右
假设一条数据为1KB
0 条评论
下一页