数据抽取 - Mysql 流程图
2015-12-28 13:57:48 2 举报
数据抽取是从数据库中提取出所需的数据的过程。在MySQL中,这个过程通常包括以下几个步骤:首先,通过SQL查询语句从数据库中选择需要的数据;然后,将这些数据加载到临时表中;接着,对临时表中的数据进行清洗和转换,以满足特定的需求;最后,将清洗和转换后的数据导出到目标文件中。这个过程可以用流程图来表示,其中每个步骤都是一个节点,节点之间的箭头表示数据的流动方向。
作者其他创作
大纲/内容
数据表 1MB ~ 500 MB
加载
ID 增量策略算法
Id 增量
增量
源数据表
Create Time 增量
合并写入到 源数据表中
Update Time 增量
数据表 1G + 以上
Sqoop 开 10 个MR
获取新增的、修改的数据存放在待合并表中
数据表 500MB ~ 1G
抽取方式
表信息数据条数、大小
Update Time 增量策略算法
Mysql Dump
create Time 增量策略算法
全量
0 条评论
下一页