云存储建设
2021-03-02 14:13:15 0 举报AI智能生成
云存储建设
作者其他创作
大纲/内容
功能需求
数据历史版本保存
数据历史版本恢复
管理后台历史版本恢复
接口中历史版本恢复
数据迁移
NAS数据迁移到对象存储
FastDFS数据迁移到对象存储
接口类型
S3、NFS、FTP、Swift、Http等
包含CRUD
包含断点续传
存储管理
多副本
纠删码
创建存储空间
后台子目录创建
删除存储空间
修改存储空间
存储空间权限管理
配额功能
最大容量
对象个数
rebalance管理
人工设置
系统自动平衡
存储分级管理
热数据
温数据
冷数据
跨区域复制
实现账户内不同区域之间内容的同步备份
不同租户桶数据同步策略配置
数据同步对象
全桶文件同步
按照规则前缀同步
同步策略
写同步
增删改同步
数据安全管理
多租户管理
多租户集群监控
单租户监控
bucket总数
object总数
存储空间
防盗链设置
url签名
白名单黑名单
数据完整性校验
文件读写权限设置
桶级别
文件级别
文件上传安全
文件下载安全
跨域访问
非法数据访问限制
日志管理
存储应用日志
业务访问日志
审计日志
格式化日志，对接日志平台ELK
文件管理
文件创建
文件删除
文件上传
批量上传
上传进度
文件下载
文件修改
碎片管理
文件搜索
流量限定
两地数据中心数据同步流量限制
租户流量限制
文件搜索
文件打标签
模糊查询
文件排序
多数据中心
两个数据中心双活读写
主中心负责读写（3副本），异地中心负责备份（EC）
多租户两数据中心读写配置
监控管理
软件资源监控
硬件资源监控
网络监控
告警监控
报警历史列表
报警通知
邮件
短信
报警模板
报警规则
告警处理
人工处理
自动处理
事件通知
规则
事件类型
AppendObject
CompleteMultipartUpload
CopyObject
InitiateMultipartUpload
PostObject
PutObject
UploadPart
UploadPartCopy
GetObject
AbortMultipartUpload
DeleteObject
DeleteObjects
等等
接受终端
http
消息队列
资源规则
可以是全名、前缀、后缀以及前后缀
举例
对象存储上的相关内容发生了更新
对象存储上的重要文件被删除
对象存储上数据同步已经完成
监控告警对接监控平台
系统管理
用户管理
组管理
角色管理
权限配置
用户权限
数据权限
菜单权限
生命周期管理
文件生命周期
桶生命周期
桶内某规则文件生命周期
数据处理
扫毒
类型
文本文件
文本文件合并
多文件压缩
图片
图片裁剪
图片缩放
格式转换
图片水印
鉴黄(待定)
图片基本信息
图片效果处理
亮度
模糊效果
对比度
锐化
图片旋转
音视频
音视频转码
视频剪辑
视频播放
音视频切片
视频水印
音视频拼接
视频截图
视频画质调节
色情、恐爆视频鉴别和审核(待定)
API
统计报表
性能报表统计
告警报表统计
容量报表统计
集群容量
单节点容量
流量报表统计
访问请求次数统计
文件数量统计
API信息统计
时间段
类型
get,post,put,delete,head等
文件访问统计
热点统计
来源
访问区域
组织
热点
URL
IP
PV/UV
碎片信息统计
服务器管理
服务器扩容
更换服务器
更换磁盘
容错管理
域名管理
域名创建
域名配置
外网
内网
访问统计
其他需求
数据库
配置文件：密码加密非明文
数据库统一由浦发卡中心创建，厂商不能私建数据库
数据库选型：mysql、oralce、mongodb、redis、elasticsearch
用户体验
提示友好性
页面易操作
告警清楚
易安装(各种环境和依赖封装良好)
节点扩充操作简单
权限易配置
业务需求
1、影像系统
容量：年增200T
应用场景：图片存储
文件大小：1-5M不等
文件数量：每月210万
文件处理：暂无
多中心：异地灾备
存储年限：永久
应用改造：NAS迁移到对象存储
2、云计算平台存储
容量：TB级别
应用场景：镜像存储、发布包存储、卷挂载
文件大小：未定
文件数量：百万级别
文件处理：暂无
多中心：异地灾备
存储年限：永久
应用改造：GlusterFS迁移到对象存储
3、FastDFS存储替换
容量：待定
应用场景
内部API访问接口
外网访问接口
小图片、视频存储
文件大小：TB级别
文件数量：海量图片视频
文件处理：暂无
多中心：待定
存储年限：永久
应用改造：FastDFS迁移到对象存储
4、企业网盘（优先级较低）
容量：100T
应用场景：owncloud
文件大小：各种均有
文件数量：海量（未能估计）
文件处理：暂无
多中心：异地灾备
存储年限：永久
应用改造：NFS迁移到对象存储
5、语音存储（待定）
录音文件
每天50万比数据量
数据保存时长
未合并之前（7天）
合并之后为转码数据(7天)
转码以后为转义数据(3个月)
转义后文件是文本文件
测试
硬件资源准备
提供测试服务器
提供服务器配置
网络架构拓扑图
软件资源准备
操作系统：RHEL6.x/7.x
网络隔离部署
服务器软件安装列表
功能性测试素材
测试素材
测试用例
非功能测试
性能测试
文件大小
1、64K数据
2、256KB
3、1MB 文件
4、100MB 文件
5、1GB 文件
6、5G EC（纠删码）文件
7、10G EC（纠删码）文件
并发数量
50
200
400
请求类型
上传
下载
高可用测试
1、硬盘故障
硬盘损坏
故障恢复
2、存储节点1-n故障
3、元数据节点故障/leader切换
4、网络故障
5、存储应用奔溃
稳定性测试
1、24小时无故障服务
2、大数据量情况iops指标无明显变动
3、大数据量下吞吐量指标无明显变化
4、系统负载在一定阀值下服务
容灾测试（待定）
机房故障
双活容灾测试
压力测试
1、模拟网络、磁盘、cup等资源消耗情况。设定系统阈值，一旦超过这个阈值，系统开始报警。
安全测试
1、慢连接攻击测试
2、高并发模拟攻击测试
易用性测试
部署安装易用性测试
后台管理操作易用性测试
功能性测试（如功能需求）
业务测试
如影像系统
数据量100T
0 条评论
下一页
