Hive 与 Mysql 分离
2015-11-16 14:22:18 2 举报
Hive 和 Mysql 是两种不同的数据库管理系统,它们之间存在一些区别。Hive 是一个基于 Hadoop 的数据仓库工具,它使用类似 SQL 的查询语言(HQL)来处理存储在 HDFS 上的数据。而 Mysql 则是一个关系型数据库管理系统,它使用标准的 SQL 语言来处理数据。 由于 Hive 和 Mysql 处理数据的方式不同,因此它们通常不会分离。但是,在某些情况下,例如当企业需要将数据仓库与业务系统分离时,可能会考虑将 Hive 与 Mysql 分离。这样可以提高系统的可扩展性和灵活性,并降低维护成本。
作者其他创作
大纲/内容
存在的一些问题:1. 相同维度数据重复算2. 报表运行速度与 HQL 计算复杂维度成正比3. minireport 存储过程互相依赖
需求
Minireport是否有运行瓶颈
Mysql
报表系统
抽取数据
Minireport 2.0
生成mail 报表
每个 minireport 只关注自身简单的展现逻辑不需要复杂的计算逻辑
提前运行
Minireport
是
Hive计算存储过程
ETL
Hive
Minireport 2.0方案一
\b分析师
Hive公共计算存储过程
结果数据
运行时抽取数据
Mysql保存结果数据
Minireport 2.0方案二
分割线
\b宽表数据维表数据
\b从Mysql 中抽取数据
Minireport 2.0方案三
Minireport现状
1. \b整理统一口径的数据写到 hive 中2. 每天 7 点前把结果数据导入到 Mysql 中3. 避免 minireport 多次计算相同口径的数据4. art 报表也使用统一口径的数据
否
0 条评论
下一页