Hive总结

hive的前生属于Facebook，用于解决海量结构化数据的统计分析，现在属于Apache软件基金会。Hive是一个构建在Hadoop之上的数据分析工具
（hive没有存储数据的能力，只有使用数据的能力）

操作接口采用类似于sql的语法，提供快速开发的能力
免去了写mapreduce的过程，减少开发人员的学习成本
功能扩展方便

优点：
       1、操作接口采用类似sql的语法，提供快速开发的能力（简单、容易上手）
       2、免去了写mapreduce的过程，减少开发人员的学习成本
       3、hive的执行延迟比较高，因此hive常用于离线数据分析，对实时性要求不高的场合
       4、hive的优势在于处理大数据，对于处理小数据没有优势，因为hive的执行延迟比较高
       5、hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数
       6、集群可自由拓展并且具有良好的容错性，节点出现问题sql仍可完成执行
缺点：
       1、hive的hql表达能力有限，当逻辑需求特别复杂的时候，还是需要借助mapreduce
       2、hive操作默认基于mapreduce引擎，而mapreduce引擎与其它的引擎相比，特点就是慢，延迟高、不适合交互查询，所以hive也有这个缺点
       3、hive自动生成的mapreduce作业，通常情况下不够智能化
       4、hive调优比较困难，粒度较粗

hive在0.14版本之后开始支持事务，前提是文件格式必须为orc格式，同时必须分桶，还必须显式声明transactional=true

hive允许client连接的方式有三个：hive shell、jdbc/odbc、webui。jdbc/odbc访问中间件thrift软件框架，跨语言服务开发。DDL\DQL\DML

元数据，数据的数据。元数据包括表名、表结构信息、所属表的数据库（默认是default库）、表的拥有者（权限信息）、列/分区字段、表的类型等等
元数据的存放一般需要借助于其它的数据载体（derby或mysql），默认存放在自带的derby数据库，推荐使用mysql进行存储。
元数据服务的作用是：客户端连接metastore服务，metastore服务再去连接mysql数据库来存储元数据，有了metastore服务，就可以有多个客户端同时连接，
而且这些客户端不需要指导mysql数据库的用户名和密码，只需要连接metastore服务即可。

解析器（Parser）

hive的数据存储在hdfs中，计算由mapreduce完成。hdfs和mapreduce是源码级别上的整合，两者结合最佳。解释器、编译器、优化器
完成hql查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。

所谓内部表即hive管理的表，hive内部表的管理既包含逻辑以及语法上的，也包含实际物理意义上的，即创建hive内部表时，数据将真实存在于表所在的目录内

外部表仅仅只是在逻辑和语法意义上的，即新建表仅仅时指向一个外部目录而已。同时，删除时也并不会物理删除外部目录，而仅仅是将引用和定义删除。
一般情况下，在企业内部都是使用外部表的，因为会有多人操作数据仓库，可能回产生数据表误删除操作，为了数据安全性，通常会使用外部表，以达到数据共享

使用分区技术，可以避免hive全表扫描，提升查询效率；同时能够减少数据冗余进而提高特定查询分析的效率。
注意，在逻辑上分区表与未分区表没有区别，在物理上分区表会将数据按照分区键的键值存储在表目录的子目录中。
使用分区表时，尽量利用分区字段进行查询，如果不使用分区字段查询，就会全部扫描，这样就失去了分区的意义
静态/动态分区：前者是我们手动指定的，后者是通过数据来判断分区的。详细来说，静态分区的列是在编译时期通过用户传递来决定的；
动态分区只有在sql执行时才能决定。

分桶是将数据分解为更为容易管理的若干部分的另一种技术，也就是更为细粒度的数据范围划分，将数据按照字段划分到多个文件中去
hive采用队列值哈希，然后除以桶的个数求余的方式决定该条记录要存放在哪个桶中。
分桶优势：方便抽样，使抽样更加高效
                 提高join查询效率，可以减少join的数据量

in相当于使用or的多个等值查询，效率不高，用于一些少量定值判断上，如果有子查询，确定给定的值是都与子查询或列表中的值相匹配。
in在查询的时候，首先查询子查询的表，然后将内表和外表做一个笛卡儿积，然后按照条件进行筛选，所以相对内表比较小的时候，in的速度较快
而exists则是检测行的存在，循环遍历外表，然后看外表中的记录有没有和内表的数据一样的。匹配上就将结果放入结果集中。

全局排序也就是order by，语法类似sql语法的order by
底层实现：全局排序是在一个reduce中进行排序的

对于大规模的数据集order by的效率非常低。在很多情况下，并不需要全局排序，此时可以使用sort by。sort by为每个reducer产生一个排序文件，只在每个reducer内部进行排序

distribute by子句可以控制某个特定行应该到哪个reducer，为后续的聚集操作做准备，其算法是hash散列

cluster by 除了具有分区排序的功能之外，还兼具了sort by 的功能，但是排序只能是升序排序，不能指定排序规则为asc/desc

EXPLODE（）可以将hive一行中复杂的Array或者Map结构拆分成多行，配合split函数可以将某个列的数据转为数组

collect_set()和collect_list()可以将多行数据转换成一行数据，区别就是list的元素可重复而set的元素是去重的

侧视图lateral view配合parse_url_tuple函数可以实现url字段的一列变多列

窗口函数指的就是over（）函数，其窗口是由一个over子句定义的多行记录。窗口函数一般分为三类：聚合型窗口函数和分析型窗口函数以及取值型窗口函数。
partition by：后跟分组的字段，划分的范围被称为窗口
order by：决定窗口范围内数据的排序方式
current row：当前行
preceding：向当前行之前移动
following：向当前行以后移动
unbounded：起点或终点（一般结合preceding，following使用）

列的顺序取前 N 行或后 N 行进行计算（当前行也参与计算）。
ROWS 2 PRECEDING ：窗口从当前行的前两行开始计算，计算到当前行；
ROWS BETWEEN 2 PRECEDING AND CURRENT ROW ：等同于上一句；
ROWS BETWEEN CURRENT ROW AND 2 FOLLOWING ：窗口从当前行开始计算，计算到当前行的后两行；
ROWS BETWEEN 2 PRECEDING AND 1 FOLLOWING ：窗口从当前行的前两行开始计算，计算到当前行的下一
行，当前行也参与计算；
ROWS UNBOUNDED PRECEDING ：窗口从第一行（起点）计算到当前行；
ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW ：等同于上一句；
ROWS BETWEEN CURRENT ROW AND UNBOUNDED FOLLOWING ：窗口从当前行计算到最后一行（终点）；
ROWS BETWEEN UNBOUNDED PRECEDING AND 1 FOLLOWING ：窗口从第一行（起点）计算到当前行下一行；
ROWS BETWEEN UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING ：窗口从第一行（起点）计算到最后一
行（终点）。
RANGE ：RANGE 后定义窗口从哪里开始（当前行也参与计算），与 BETWEEN 搭配可以表示范围。如果省略
BETWEEN 仅指定一个端点，那么将该端点视为起点，终点默认为当前行。RANGE 会根据 ORDER BY 子句排序后，按
分组后排序列的值的整数区间取前 N 行或后 N 行进行计算（相同排序值的行都会被算进来，当前行也参与计算）。
RANGE 的窗口范围子句语法与 ROWS 一模一样，唯一的区别就在于 RANGE 会根据 ORDER BY 子句排序后，按分组
后排序列的值的整数区间取前 N 行或后 N 行进行计算（相同排序值的行都会被算进来，当前行也参与计算）。
整数区间解释：如果窗口范围子句为 RANGE BETWEEN 2 PRECEDING AND CURRENT ROW ，假设排序列的值为
1 2 3 4 5 7 8 10

当 ORDER BY 缺少窗口范围子句时，窗口范围子句默认为： RANGE BETWEEN UNBOUNDED PRECEDING AND
CURRENT ROW 。
当 ORDER BY 和窗口范围子句都缺失时，窗口范围子句默认为： ROW BETWEEN UNBOUNDED PRECEDING AND
UNBOUNDED FOLLOWING 。

rank（）：间断，相同值同序号，例如1、2、2、2、5
dense_rank（）：不间断，相同值同序号，例如1、2、2、2、3
row_number（）：不间断，序号不重复，例如1、2、3、4、5（2、3可能是相同的值）
percent_rank（）：计算小雨当前行的值在所有行中的占比，类似百分比排名。可以用来计算超过了百分之多少的人。计算某个窗口或分区中某个值的累积分布
cum_dist（）：计算小雨等于当前行的值在所有行中的占比
ntile（n）：如果把数据按行数分为n份，那么该行所属的分数是第几份。注意：n必须为int类型

LAG(COL, N, DEFAULT_VAL) ：往前第 N 行数据，没有数据的话用 DEFAULT_VAL 代替。
LEAD(COL, N, DEFAULT_VAL) ：往后第 N 行数据，没有数据的话用 DEFAULT_VAL 代替。
FIRST_VALUE(EXPR) ：分组内第一个值，但是不是真正意义上的第一个或最后一个，而是截至到当前行的第一个或
最后一个。
LAST_VALUE(EXPR) ：分组内最后一个值，但是不是真正意义上的第一个或最后一个，而是截至到当前行的第一个
或最后一个。

普通函数，一进一出，比如upper，lower

聚合函数，多进一出，比如count/max/min

表生成函数，一进多出，比如lateral view explode

实现udf的方式有两种，第一种是比较简单的形式，继承udf类通过evaluate方法实现，目前已过时。
第二种是继承genericUDF重写initialize方法、evaluate方法、getDisplayString方法实现。

实现 UDAF 的方式有两种，第一种是比较简单的形式，先继承 UDAF 类，然后使用静态内部类实现 UDAFEvaluator 接
口，目前已过时。第二种是先继承 AbstractGenericUDAFResolver 类重写 getEvaluator 方法，然后使用静态内部类实现
GenericUDAFEvaluator 接口。这里主要讲第二种。

UDTF（User Defined Table Generating Function）：表生成函数，一进多出，用于处理单行数据，并生成多个数据行。
  实现 UDF 需要继承的 GenericUDTF，然后重写父类的三个抽象方法，输出后有几列，在 initialize 中定义，主要处理逻
辑在 process 中实现。

压缩技术能够有效减少存储系统的读写字节数，提高网络带宽和磁盘空间的效率。

行式存储

列式存储

textFile

sequence file

orc file

parquet file