大数据安全技术栈树状图

.匹配任何字符

^行首

$行尾

\转义特殊字符（*？+[]（）{}^$| \\./）

\w字

\t水平制表

\n换行

\d任意数字

\s空格字符（\t\n\f\r\p{Z}）

[…]匹配括号内的任何字符（或字符范围）。范围可以是[a-z]、[a-z]、[3…5]等。

\D不是十进制数字的任何字符

\S非空白字符

\W非文字字符

入门

进阶

监控及备份

冷热主从架构设计

简介

基础

分布式工作原理

倒排索引-数据结构

索引原理

搜索API

Hbase架构模型&读写流程

一、概念

二、Hadoop运行环境搭建

三、Hadoop运行模式

四、常见错误的解决方案

一、概述

二、HDFS的Shell相关操作

三、HDFS的客户端API

四、HDFS的读写流程

五、NN和2NN

六、Datanode

一、MapReduce概述

二、序列化

三、核心框架原理

四、压缩

五、常见的问题及解决方案

一、理论

二、怎么玩

一、HDFS—核心参数

二、HDFS—集群压测

三、HDFS—多目录

四、HDFS—集群扩容及缩容

五、HDFS—存储优化

六、HDFS—故障排除

七、HDFS—集群迁移

八、MapReduce生产经验

九、Hadoop-Yarn生产经验

十、Hadoop综合调优

一、RPC通信原理解析

二、NameNode启动源码解析

三、DataNode启动源码解析

四、HDFS上传源码解析

五、Yarn源码解析

六、MapReduce源码解析

七、Hadoop源码编译

create database[ if not exists ] db_hive;

CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name

[(col_name data_type [COMMENT col_comment], ...)]

[COMMENT table_comment]

[PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] 分区

[CLUSTERED BY (col_name, col_name, ...) 分桶

[SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS]

[ROW FORMAT row_format] row format delimited fields terminated by “分隔符”

[STORED AS file_format]

[LOCATION hdfs_path]

alter table student set tblproperties('EXTERNAL'='TRUE');

create table student_partition2(

id int,

name string,

age int)

partitioned by (month string, day string)

row format delimited fields terminated by '\t';

desc [ formatted ] student_partition3;

alter table student_partition3 add columns(address string);

alter table student_partition3 change column address address_id int;

alter table student_partition3 replace columns(deptno string, dname

string, loc string);

alter table student_partition1 add partition(dt='20170602') partition(dt='20170603');

alter table student_partition1 drop partition (dt='20170602'),partition (dt='20170603');

show partitions student_partition1;

array

map

struct

load data local inpath '/,,,'  overwrite | into table  tbName partition（dt="20190505"）

insert into table student_partition1 partition(dt="2019-07-08") select * from student1;

create table if not exists tableName as select id, name from tableName;

create table if not exists student1(

id int,

name string)

row format delimited fields terminated by '\t'

location '/user/hive/warehouse/student1';

create table student2 like student1;

export table student1 to '/export/student1';

import table student2 from '/export/student1';

insert overwrite local directory '/opt/bigdata/export/student'

row format delimited fields terminated by ',' select * from student;

hdfs dfs -get /user/hive/warehouse/student/student.txt /opt/bigdata/data

bin/hive -e 'select * from default.student;' > /opt/bigdata/data/student1.txt

bin/hive -f sql文件 > /opt/bigdata/data/student1.txt

export table default.student to 

静态分区

动态分区

分桶是相对分区进行更细粒度的划分

set hive.enforce.bucketing=true;== 开启对分桶表的支持

set mapreduce.job.reduces=4;== 设置与桶相同的reduce个数（默认只有一个reduce）

--分桶表

create table user_buckets_demo(id int, name string)

clustered by(id)

into 4 buckets

row format delimited fields terminated by '\t';

--普通表

create table user_demo(id int, name string)

row format delimited fields terminated by '\t';

load data local inpath '/opt/bigdata/data/buckets.txt' into table user_demo;

insert into table user_buckets_demo select * from user_demo;

抽样查询桶表的数据：tablesample抽样语句，语法：tablesample(bucket x out of y)

- x表示从第几个桶开始取数据
- y表示桶数的倍数，一共需要从 ==桶数/y== 个桶中取数据

select * from user_buckets_demo tablesample(bucket 1 out of 2)



-- 需要的总桶数=4/2=2个

-- 先从第1个桶中取出数据

-- 再从第1+2=3个桶中取出数据

Hive表中间数据压缩：shuffle阶段 落地到磁盘的数据

Hive表最终输出结果压缩：输出到HDFS的数据

textfile

sequencefile

orc

parquet

UDF 一进一出

UDAF 多进一出

UDTF一进多出

通过MultiDelimitSerDe 解决多字符分割场景

通过RegexSerDe 解决多字符分割场景

通过JsonSerDe格式存储text文件

使用 json函数 操作json格式数据

Fetch抓取：在全局查找、字段查找、limit查找等都不走mapreduce

本地模式

表的优化

使用分区剪裁、列剪裁

并行执行

严格模式

JVM重用

推测执行

压缩（参考上面的表数据压缩配置）

数据倾斜

是什么

能干嘛

去哪下

怎么玩

Linux下安装

永远的HelloWorld

Znode的数据模型

znode中的存在类型

zkCli的常用命令操作

四字命令

Java客户端操作

watch

伪分布式单机配置

命名服务(NameService)

软负载均衡

传统数据架构

大数据数据架构

有状态流计算架构

支持高吞吐、低延迟、高性能

支持事件时间概念

支持有状态计算

支持高度灵活的窗口操作

基于轻量级分布式快照实现容错

给予JVM实现独立的内存管理

Save Point保存点

实时智能推荐

复杂事件处理

实时欺诈检测

实时数据仓库与ETL

流数据分析

实时报表分析

基本组件栈

基本架构

通过引用字段名(如dataSet.keyBy("username")来使用pojo类型和分组/连接/聚合它们

类型信息允许Flink尽早检查(打印错误和类型兼容性)，而不是在运行时失败。

Flink对数据类型的了解越多，序列化和数据布局方案就越好。

最后，它还使用户在大多数情况下不必担心序列化框架和必须注册类型。

注册子类型（Registering subtypes）

注册自定义序列化器（Registering custom serializers）

添加类型提示(Adding Type Hints)

手动创建类型信息(Manually creating a TypeInformation)

TypeInformation 是所有类型描述符的基类。

它揭示了类型的一些基本属性，可以生成序列化器，在专门化中，还可以生成类型的比较器。

Flink 数据类型

POJO类型的规则

Flink中的DataSet 程序是实现DataSet 转换(如 filtering, mapping, joining, grouping)的常规程序。

DataSet 最初是从某些来源(例如，通过读取文件，或从本地集合)创建的。

结果通过sink返回，例如将数据写入(分布式)文件、写入标准输出(例如命令行终端)。

说明

一般开发流程

说明

数据接入的种类

一些特殊输入案例

说明

数据处理

聚合操作

多表关联

集合操作

排序操作

数据接收器使用数据集并用于存储或返回它们。数据接收操作使用OutputFormat进行描述

三中数据输出类型

全量迭代

增量迭代

DataSource数据接入

DataStream 转换操作

DataSink 数据输出

时间的三种概念

设定时间特性

Event Time and Watermarks

Windows Assigner

Windows Function

Trigger 窗口触发器

数据剔除器 Evictor

延迟数据处理

简介

构建依赖

创建执行环境（TableEnvironment）

注册表

注册一个外部目录（可选）

查询表

提交（发出）一个表

Old planner

Blink planner

说明

DataStream or DataSet -> Table

Table -> DataStream or DataSet 

数据类型到Table Schema的映射

查询优化

Explaining a Table

Dynamic Tables

时间属性

Regular Joins

Time-windowed Joins

Join with a Temporal Table Function

子主题

有状态计算

无状态计算

使用场景

Checkpoints 检查点机制

Savepoint 机制

状态管理器

Querable State

TwoPhaseCommitSinkFunction 提取了两阶段提交协议的通用逻辑，基于此将 Flink 和支持事务的外部系统结合，构建端到端的 Exactly-Once 成为可能。

基于输出到文件的简单示例

到Mysql的Exactly-Once