数据例行化
2021-12-01 21:34:11 0 举报测试
作者其他创作
大纲/内容
插入数据
biz埋点表
查询数据
获取待执行SQL任务
UDW表
Spark_1 python_1脚本
Table
业务方无需关注
SQL_A
SQL_XX
showx平台展示数据
spark_common
进程C
Table_A
进程A
1. Hive库基于hdfs，内容存储在多个开发机上。2. 每次查询都会将hive sql转化为mr语句再去机器上的文件系统中查找。 3.存储量大带来的代价就是速度的减少。 合理的过滤出你需要的数据，能大大的加大查询速度。 所以showx的数据展示才能那么快。
进程池
业务B
SQL_B
X 不建议
业务方
Table_B
FC_DI数据库
新建数据表
Spark_1 python_1脚本
FC_DI数据库
SQL
业务XX
进程B
Table_XX
udw_daily_common_table
抽为公共方式
业务A
Spark_N python_N
0 条评论
下一页
为你推荐
查看更多
