数据湖体系规划
2024-09-03 10:28:25 0 举报
登录查看完整内容
数据湖体系规划是一个综合性的数据管理策略，它涉及数据的采集、存储、处理、分析和应用等多个环节。规划的核心内容包括确定数据湖的架构设计、数据存储策略、数据处理流程、数据分析模型和应用程序集成。规划过程中，需要考虑数据安全性、可扩展性、性能优化和成本效益等因素。数据湖体系规划的目标是建立一个灵活、高效、安全的数据平台，以满足企业不断发展的业务需求。
作者其他创作
大纲/内容
源端系统
生态圈专区
生产数据(1+N) 操作/临时存储
生态圈系统
大数据湖体系规划
资源申请规范
访问接口（JDBC、ODBC）
前置采集
挖掘工具
离线批处理引擎
互联网
数据沙箱
数据共享标准
原生数据(1+N) 就近/分域存储
服务对象
采集接入规范
HDFS
应用专区
同步镜像
角色权限规范
非结构化数据
BSS
生产直采
语音、视频等
元字典规范
网络爬虫
...
生产系统
数据库/格式文件
Greenplum
统一索引层
访问接入规范
数据分类规范
源数据提供规范
API
外部系统
协同计算引擎
IOT接入
生态圈
XML/TXT
交互式查询引擎
结构化数据
平台工具
作者：豆豆周末@ProcessOn 更多模板素材请关注豆豆周末个人主页（只提供优质素材）点击右下方 图标链接 进入豆豆周末@ProcessOn 个人主页 ➡️
应用构建工具
计算侧cache
Oracle
统一数据接入 统一数据服务代理（Data Broker） 跨架构数据联邦
合作伙伴
计算调度规范
数据安全规范
内部应用
可视化定义 · 即配即用 统一接入配置 透明化部署 · 实时接入调度
TXT
MSS
数据模型规范
应用数据(N) 分区建设
网络/平台
运营管控
存储规范
生产系统驻留
交互分析OLAP
整合数据(1) 全网/分层支撑
存储计算加速
OSS
逻辑化视图 数据湖统一目录<统一服务数据集> 缓存加速
主数据(1) 全网统一
分析系统
半结构化数据
Hbase
MySql
省分专区
实时检索和流处理引擎
资源池化 · 弹性伸缩 计算资源调度 自动调度 · 按需使用
生产模型规范
运营管理规范
0 条评论
回复 删除
下一页
