阿凡达采集数据流程图
2022-10-30 19:07:42 10 举报
数润大数据应用开发项目-系统架构-采集数据流程图
作者其他创作
大纲/内容
sqop1
N
开始
(历史)全量采集+(增量数据)增量采集
sqop1+kafka
数据采集平台用于多源异构数据的采集,进行基本的数据标准及治理工作,按照预定目标入库存储。基于多种多样的数据源,采集工作高并发、低延迟、稳定、可靠,位于数润大数据的最下游,是平台数据工作的起点。数据采集的核心功能是将数据由数据源系统加载到目标数据库中。
Y
数据在业务中使用频率是否高
结构化数据
全量采集
文件采集
FTP
没有增量的历史数据
(历史)全量采集+(增量数据)实时性采集
收藏
收藏
0 条评论
回复 删除
下一页