hive结构
2016-12-01 17:17:57 0 举报
Hive是一个基于Hadoop的数据仓库工具,它提供了类似于SQL的查询语言(HiveQL)来处理存储在Hadoop集群中的大型数据集。Hive的核心组件包括:数据模型、元数据、用户接口和驱动器。数据模型支持关系型数据和面向列的数据,这使得Hive能够处理各种类型的数据源。元数据存储了关于表、分区和桶的信息,有助于优化查询性能。用户接口允许用户通过命令行或Web界面与Hive进行交互。驱动器负责将HiveQL查询转换为MapReduce任务并执行它们。总之,Hive是一个灵活且可扩展的大数据处理框架,适用于那些需要对海量数据进行分析和挖掘的场景。
作者其他创作
大纲/内容
利润
service jar
jdbc:mysql://127.0.0.1:3306/hive??createDatabaseIfNotExist=true
...
分表分区
ConnectionURL
本地metastore
HDFS
Driver class name for a JDBC metastore
MetaStore
ETL
远程metastore
jdbc:mysql://10.1.1.185:3306/hive
hive
ConnectionDriverName
HSqL
javax.jdo.option.ConnectionURL
HIVE
内嵌metastore
数据
Data node+Task tracker.....
JDBC connect string for a JDBC metastore
Mapred
jdbc:derby:;databaseName=metastore_db;create=true
Metastore
NameNode
HWIHive Web Interface
Client
ConnectionUserName
Thrift
com.mysql.jdbc.Driver
hiveserver
HiveServer
表优化- 速度
结构设计
JDBC /ODBC
JobTracker
ConnectionPassword
hive-site.xml
javax.jdo.option.ConnectionDriverName
org.apache.derby.jdbc.EmbeddedDriver
.....
CLI
0 条评论
下一页