Hadoop 家族技能图谱
2020-11-04 15:30:56 14 举报AI智能生成
Hadoop 家族技能图谱
作者其他创作
大纲/内容
Hadoop
Zookeeper
Avro
Chukwa
Ambari
Whirr
Bigtop
Hcatalog
Hue
HBase
Pig
Sqoop
Cassandra
Hama
Flume
Giraph
Oozie
Crunch
Mahout
推荐
协同过滤
基于用户协同过滤
基于物品协同过滤
相似度矩阵
欧氏距离
Pearson距离
余弦距离cosine
Spearman's rank correlation coefficient
Tanimoto coefficient
log-likelihood
近邻算法
按值取近邻
按比例取近邻
推荐算法
UserBaseRecommender
ItemBaseRecommender
SVDRecommender
SlopeOneRecommender
KnnItemBaseRecommender
TreeClusteringRecommender
算法检验
全查率Recall
准插率Precision
数据模型
UserID,ItemID,PerferenceValue
UserID,ItemID
数据模型
DenseVector
RandomAccessSparseVector
SequentialAccessSpareVector
距离算法
欧式距离
欧式平方距离
马氏距离
余弦距离
Tanimoto距离
带权重距离
标准化距离
聚类算法
k-means
Canopy
Fuzzy k-means
Dirichlet
Topic moseling on LDA
分类
系统模块
训练营
测试营
分类算法
训练过程
建立分类器
验证模块
真实数据
调整参数
执行分类过程
预测结果
检验结果
自动构建
工作流
训练模型
定义目标变量
历史数据
定义预测变量
分类算法
通过学习算法训练分类器
验证模型
运行测试集
参数调优
生产环境
启动模型对真实数据计算
分类模型
分类算法
Stochastic gradient descent(SGD)
Online_ogisticRession
CrossFoldLearner
Adaptivel_ogisticRegression
Support vector machine(SVM)
Naive Bayes
Complemetary naive Bayes
random forests
Hive
Hive系统架构
MetaStore
Derby
MySQL
HDFS
/user/hive/warehouse
MapReduce
Hive配置文件
hive-env.sh
hive-site.xml
hive-log4j.properties
Hive命令行
hive-config
hiveshell
quie,exit
reset
set
add,list,delete FILES
!<命令>
dfs<命令>
HQL
source FILES
hive service
hive-service cli
hive-service hiveserver
hive-server metastore
hive-service hwi
hive-service jar
HiveQL
语法管检测
show databases
show PARTITIONS
show tables
create table
load data(loacal) inpath
Select * from
desc,alert,drop
limit,as,case,when then,union
like,group by,having
order by ,sort by
cluster by
数据类型
简单类型
tinyint,smallint,int,bigint
float,double
boolean
string
timestamp
binary
复杂类型
arry
map
strut
表
内部表
外部表
HDFS
HBase
Cassandra
DynamoDB
表查询
单表查询
Inner joins
Outer joins
Semi joins
Map joins
子查询
视图
数据库表设计
每日一表
每日一表分区
按桶分散数据
Hive优化
表分区Partitions
表存储桶buckets
表压缩
bitmap indexes索引
执行计划
控制Mapper,Reduce数量
访问方式
Hive Shell
Java JDBC API
Thrift Client
RHive
自定义函数
自定义函数UDF
自定义聚合函数UADF
Hive安全
认证
hive.files.umask.value
hive.metastore.authorization.storage.checks认证
hive.metastore.execute.setugi
hive.security.authorization.enabled
授权
hive.security.authorization.enabled
hive.security.authorization.creatable.owner.grants
hive.security.authorization.createtable.user.grants
权限模型
User
Group
Role
hwi:9999 Web控制台
软件集成
Zookeeper
Thrift
Ooize
HCatalog
AWS
Hive案例
0 条评论
下一页
