数据湖体系规划-存储能力

2024-09-03 11:48:43   0  举报





数据湖体系规划的核心是构建一个强大的存储能力，以支持海量数据的存储、处理和管理。这种存储能力应该具备高可用性、高扩展性、高安全性和低成本等特点。数据湖的存储结构应该能够适应多种数据类型，包括结构化、半结构化和非结构化数据。此外，存储系统还应该支持数据的实时更新和快速检索，以满足各种业务场景的需求。为了实现这些目标，可以采用分布式文件系统、对象存储、数据仓库等技术，并结合云计算平台进行部署和扩展。

大数据

数据湖

数据中台

大数据平台

数据架构

作者其他创作

大纲/内容

编码统一转换

集团横向系统

渠道

制定统一数据标准，采取分域分类的数据入湖策略，构建生产、原生、整合/应用、专区等分区数据存储及计算能力，实现数据原生入湖、按需使用的宗旨，提供应用数据服务能力，注智生产激发生产力。

专区

数据访问

生态圈ICT

交互式查询

物联网

产品

非结构化数据（文件/图片/音频/视频等）

服务

存储资源管理

新兴ICT

生产数据区

数据存储

整合数据区

实体对齐

生态圈金融

…

生态圈生产系统

...

智慧家庭

自然人

实体关联视图

离线批量

内存计算及缓存

半结构化数据（日志/XML文件等）

应用专区

非结构化计算

客户

数据计算

智能连接

实时流式

原生数据区

协同计算

网络/平台生产系统（前置预处理）

运营管理

数据湖体系规划 - 存储能力

网络数据

主数据区

生产数据区：遵循数据建模标准及主数据规范要求；规范层面属于大数据湖范畴，物理资源层面可采用湖资源也可自建；◉ 原生数据区：分域分类存储生产数据；将非标准数据做标准化转化；◉ 整合数据区：采用大数据挖掘等技术进行实体归集补全；构建实体关联视图；◉ 主数据区：存储企业级全网主数据，大数据主数据唯一提供者；◉ 应用专区：本着数据不出湖，充分挖掘数据价值原则，为使用者提供基于自有、原生、整合数据的处理空间，面向应用开展数据处理工作；

营销

作者：豆豆周末@ProcessOn 更多模板素材请关注豆豆周末个人主页（只提供优质素材）点击右下方图标链接进入豆豆周末@ProcessOn 个人主页 ➡️

互联网金融

数据接入

MSS原生数据

省份B/O侧生产系统

机器学习

OSS原生数据

结构化数据

统一标准 · 分区存储

BSS原生数据

集团横向数据