hive-mr
2017-03-22 10:04:56 0 举报
登录查看完整内容
为你推荐
查看更多
Hive-MR是Apache Hive中的一个模块，它实现了MapReduce编程模型，使得用户可以使用Hive进行大规模数据处理。Hive-MR将SQL查询转换为MapReduce任务，然后提交到Hadoop集群上执行。这种模式允许熟悉SQL的用户在无需编写复杂的MapReduce程序的情况下，利用Hadoop的强大计算能力处理海量数据。同时，Hive-MR还提供了一些优化策略，如谓词下推、列裁剪等，以提高查询性能。总的来说，Hive-MR为Hadoop生态系统提供了一个强大的SQL接口，使得数据分析和处理变得更加简单和高效。
作者其他创作
大纲/内容
M
R
Reduce Output Operator： Key: _col0 value: _col1
HDFS
destToWhereExpr: appid='animal_androidcncm_prod'ds='2015-08-17'
destToWhereExpr: num100
destToSelExpr: gid
TableScan：data_101
Group By Operator：Key: _col0 aggregations: count(VALUE._col0)
Filter Operator：_col1 100
QB2
nameToDest: TOK_TMP_FILE
select *** from raw_table.raw_ingamewhere ***group by ***
aliasToTabs: raw_data data_101
aliasToSubq : QB2
select *** fromraw_data.data_99where ***group by ***
QB1
destToAggregationExprs: count 1
destToGroupby: gid
select *** from raw_table.raw_user_daywhere ***group by ***
Select Operator：gid
0 条评论
回复 删除
下一页
