数据仓库-Hive

drop database myhive4;

drop table myhive4 cascade;

1. create table
创建一个指定名字的表。如果相同名字的表已经存在，则抛出异常；用户可以用 IF NOT
EXISTS 选项来忽略这个异常。
2. external
可以让用户创建一个外部表，在建表的同时指定一个指向实际数据的路径
（LOCATION），Hive 创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部
表，仅记录数据所在的路径，不对数据的位置做任何改变。在删除表的时候，内部表的
元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。
3. comment
表示注释,默认不能使用中文
4. partitioned by
表示使用表分区,一个表可以拥有一个或者多个分区，每一个分区单独存在一个目录下 .
5. clustered by 对于每一个表分文件， Hive可以进一步组织成桶，也就是说桶是更为细粒
度的数据范围划分。Hive也是 针对某一列进行桶的组织。
6. sorted by
指定排序字段和排序规则
7. row format
指定表文件字段分隔符
8. storted as指定表文件的存储格式, 常用格式:SEQUENCEFILE, TEXTFILE, RCFILE,如果文件
数据是纯文本，可以使用 STORED AS TEXTFILE。如果数据需要压缩，使用 storted as
SEQUENCEFILE。
9. location
指定表文件的存储路径

hdfs dfs -mkdir -p /scoredatas/month=201806
hdfs dfs -put score.csv /scoredatas/month=201806/

create external table score4(s_id string, c_id string,s_score int)
partitioned by (month string) row format delimited fields terminated by
'\t' location '/scoredatas';

msck repair   table score4;

或者添加对应分区：
alter table score4 add if not exists partition(month='201806') location '/scoredatas/month=201806';

set hive.enforce.bucketing=true;

set mapreduce.job.reduces=3;

create table course (c_id string,c_name string,t_id string) clustered
by(c_id) into 3 buckets row format delimited fields terminated by '\t';

create table course_common (c_id string,c_name string,t_id string) row
format delimited fields terminated by '\t';

load data local inpath '/export/servers/hivedatas/course.csv' into table
course_common;

insert overwrite table course select * from course_common cluster
by(c_id);

load data local inpath '文件路径' into table tab_name;

load data inpath 'HDFS文件路径' into table tab_name;

msck repair   table score4;

分区

模糊查看表

查看表的创建语句

表的结构信息（详细）

简单查看表结构

表的扩展信息

alter table old_tab rename to new_tab;

增加列

更新列

直接插入

通过查询插入数据

通过load方式加载数据

insert overwrite local directory '/export/servers/hivedatas/sort 'select * from score sort by s_score;

如果A和B都为NULL，则返回TRUE，其他的和等号（=）操作符的结果一致，如果任一为NULL则结果为NULL

(也可简写为JOIN): 两个表中列匹配，则返回行

只要其中一个表中存在匹配，就返回行

select * from t_user, t_address;
或
select * from t_user inner join t_address;

set mapreduce.job.reduces=7;

insert overwrite local directory '/export/servers/hivedatas/sort' select * from score distribute by s_id sort by s_score;

org.apache.hadoop.io.compress.DefaultCodec,
org.apache.hadoop.io.compress.GzipCodec,
org.apache.hadoop.io.compress.BZip2Codec,
org.apache.hadoop.io.compress.Lz4Codec

false

org.apache.hadoop.io.compress.DefaultCodec

false

org.apache.hadoop.io.compress. DefaultCodec

RECORD

parquet.compression
parquet.block.size
parquet.page.size
dfs.blocksize
mapred.max.split.size

支持类型：uncompressed", "snappy", "gzip", "lzo"。
Snappy压缩具有更好的性能，Gzip压缩具有更好的压缩比。

CREATE TABLE parquet_test (
id int,
str string,
mp MAP<STRING,STRING>,
lst ARRAY<STRING>,
strct STRUCT<A:STRING,B:STRING>)
PARTITIONED BY (part string)
STORED AS PARQUET;

set hive.map.aggr = true;

set hive.groupby.mapaggr.checkinterval = 100000;

 set hive.groupby.skewindata = true;

set hive.exec.dynamic.partition=true;

set hive.exec.dynamic.partition.mode=nonstrict;

set hive.exec.max.dynamic.partitions=1000;

set hive.exec.max.created.files=100000;

set hive.error.on.empty.partition=false;

createtable ori_partitioned_target(id bigint, timebigint, uid string, keyword string, url_rank int, click_num int, click_url string) PARTITIONED BY (p_time STRING) row format delimited fields terminated by'\t'

INSERT overwrite TABLE ori_partitioned_target PARTITION (p_time)
SELECT id, time, uid, keyword, url_rank, click_num, click_url, p_time FROM ori_partitioned;

show partitions ori_partitioned_target;