数据湖体系规划-存储能力
2024-09-03 11:48:43 0 举报
为你推荐
查看更多
数据湖体系规划的核心是构建一个强大的存储能力,以支持海量数据的存储、处理和管理。这种存储能力应该具备高可用性、高扩展性、高安全性和低成本等特点。数据湖的存储结构应该能够适应多种数据类型,包括结构化、半结构化和非结构化数据。此外,存储系统还应该支持数据的实时更新和快速检索,以满足各种业务场景的需求。为了实现这些目标,可以采用分布式文件系统、对象存储、数据仓库等技术,并结合云计算平台进行部署和扩展。
作者其他创作
大纲/内容
编码统一转换
集团横向系统
渠道
制定统一数据标准,采取分域分类的数据入湖策略,构建生产、原生、整合/应用、专区等分区数据存储及计算能力,实现数据原生入湖、按需使用的宗旨,提供应用数据服务能力,注智生产激发生产力。
专区
数据访问
生态圈ICT
交互式查询
物联网
产品
非结构化数据(文件/图片/音频/视频等)
服务
存储资源管理
新兴ICT
生产数据区
数据存储
整合数据区
实体对齐
生态圈金融
…
生态圈生产系统
...
智慧家庭
自然人
实体关联视图
离线批量
内存计算及缓存
半结构化数据(日志/XML文件等)
应用专区
非结构化计算
客户
数据计算
智能连接
实时流式
原生数据区
协同计算
网络/平台生产系统(前置预处理)
运营管理
数据湖体系规划 - 存储能力
网络数据
主数据区
生产数据区:遵循数据建模标准及主数据规范要求;规范层面属于大数据湖范畴,物理资源层面可采用湖资源也可自建;◉ 原生数据区:分域分类存储生产数据;将非标准数据做标准化转化;◉ 整合数据区:采用大数据挖掘等技术进行实体归集补全;构建实体关联视图;◉ 主数据区:存储企业级全网主数据,大数据主数据唯一提供者;◉ 应用专区:本着数据不出湖,充分挖掘数据价值原则,为使用者提供基于自有、原生、整合数据的处理空间,面向应用开展数据处理工作;
营销
作者:豆豆周末@ProcessOn 更多模板素材请关注豆豆周末个人主页(只提供优质素材)点击右下方 图标链接 进入豆豆周末@ProcessOn 个人主页 ➡️
互联网金融
数据接入
MSS原生数据
省份B/O侧生产系统
机器学习
OSS原生数据
结构化数据
统一标准 · 分区存储
BSS原生数据
集团横向数据
资源池化 · 弹性技术 计算资源管理 自动调度 · 按需使用
资源
0 条评论
回复 删除
下一页