日均10亿消息数据处理
2021-08-11 14:08:45 0 举报
![处理[命令+数据]](https://www.processon.com/chart_image/template/thumb/5505aa3be4b03108ad55e45b.png?tid=55059bd9e4b07f960cbd4b9d)
KAFKA日均10亿消息数据处理,设计预案
作者其他创作
大纲/内容
日均10亿消息数据
8亿数据集中在4小时
10*2 = 20亿数据
QPS：6万/S
topic一般设置副本数为2
14亿KB
开始
磁盘选择普通的机械硬盘即可，没必要像选择MSQL那样选择SSD，SSD性能高在随机读写，但是KAFKA跟多的是随机读写，这种情况下使用普通的机械硬盘和SSD硬盘差别不大，但是SSD价格要贵很多，没必要
每秒6万QPS
QPS：6*5=30万/S
数据设置默认保留7天（根据需求调整）
磁盘容量：近14TB
规划5到6台物理机较稳妥（高并发系统一般都使用物理机，每台机器承载几万QPS，每台分配3到4个T的机械硬盘）
一般需要在QPS均值上放放大5到10倍应对瞬间高峰流量
20*7 = 140亿数据
80%的数据在20%的时间产生
每秒60条消息，差不多每秒要传输60M的数据，峰值可能两三百兆，一般用千兆网卡差不都了，可能峰值流量过来会打满，因为千兆网卡实际传输的可能也就两百兆左右
假设一条数据为1KB
0 条评论
回复 删除
下一页
