数仓 - 知识图谱，技术组件，面试问题

flume

sqoop/datax/kettle

hive、spark

多人开发 mysql

4个器 编译器、解析器、优化器、执行器 sql变换

大数据

小数据

删除数据：元数据、原始数据

删除数据：元数据

全局排序 (数据倾斜)

排序

分区

sort by+depart by

date_sub

1进1出 一行

多进多出 一进多出

Spark应用程序的主要入口点，驱动器负责管理应用程序的整体执行流程。
驱动器程序通常运行在一个独立的进程中，负责与集群管理器交互，将工作分发给集群的Executor。
驱动器负责将用户的应用程序转换为任务，并协调Executor的执行。

在Spark集群中运行的工作单元，负责执行任务并存储数据。
每个Executor通常运行在独立的JVM进程中，并由集群管理器分配给特定的节点。
Executor负责执行驱动器分配的任务，并在需要时缓存数据，以便后续重用。

负责管理Spark集群中的 资源分配 和 任务调度。
Spark支持多种集群管理器，包括独立部署模式、Apache Mesos 和 Hadoop YARN等。
集群管理器负责启动和停止Executor，以及监视集群中的资源使用情况以便动态调整资源。

弹性分布式数据集，是Spark中的核心抽象概念。
RDD是分布式对象的集合，可以在集群中进行并行操作。
RDD具有容错性，可以通过存储每个分区的转换操作来重新计算丢失的数据。

负责管理Executor节点上的数据存储和数据传输。
Block Manager负责将数据分割为固定大小的数据块，并在集群中的不同节点之间进行传输和复制。
它还负责在Executor节点上管理内存和磁盘上的数据存储，以便在需要时进行快速访问。

案例

案例

案例

利用context案例

案例

SparkContext是Spark应用程序的入口点，用于与Spark集群进行通信和管理资源。它负责创建RDD、广播变量和累加器，并启动Spark作业的执行。

RDD（Resilient Distributed Dataset）是Spark中的核心数据抽象，代表分布式的对象集合。
RDD支持各种转换操作（如map、filter、reduce等）和行动操作（如collect、count、saveAsTextFile等），用于进行数据处理和分析。

DataFrame是基于RDD的高级抽象，提供了类似于关系型数据库表的数据结构和操作接口。
DataFrame支持SQL查询、结构化数据处理和机器学习任务，具有更高的性能和易用性。

Streaming API用于实时数据流处理，可以从各种流式数据源中读取数据，并进行实时处理和分析。
它提供了丰富的转换操作（如window、map、reduceByKey等）和输出操作（如saveAsTextFiles、foreachRDD等）。

MLlib是Spark中的机器学习库，提供了各种常用的机器学习算法和工具，如分类、回归、聚类、推荐等。
它支持分布式模型训练和批量预测。并具有高性能。

Zookeeper是Kafka集群的协调者，负责管理Broker的状态、Partition的分配和 Offset 偏移量的管理。

broker

partition

comsumer

没有producer

提高可靠性

提高并发度

range 默认

roundrobin

可以存储TB级别的数据量

100万日活 100条 1k 每天一亿条

一亿条/(24h*3600s)=1150条/s

7-3天

100g*2个副本*5天/0.7

满足下一级所有消费者

ZNode（节点）：Zookeeper的基本数据单元，类似于文件系统中的文件或目录。

每个ZNode都有一个唯一的路径标识符，可以包含数据和子节点。

数据：每个ZNode可以存储一些数据，这些数据可以是任意类型的字节流。

子节点：每个ZNode可以有多个子节点，子节点可以包含数据和更多的子节点，形成一个树状结构。

版本号：每个ZNode都有一个版本号，用于实现乐观锁机制，确保数据的一致性。

0 发过来数据，不需要应答

1 发过来数据，leader应答

-1 发过来数据，leader和follower共同应答

幂等性

事务

在业务端使用幂等

1个cpu两个线程，消费两个分区

提高消费速度，如日志是1k，1000条/s

减少重传

默认1G，不要超过6G

内存到内核，内核到内存

调整最大字节数

awk '{print $1}' data.txt

grep "an" data.txt

sed 's/world/everyone/' data.txt

sort file.txt

sort -r file.txt

docker ps -a | sort -V

du -m -d 1 | sort -n

du -m -d 1 | sort -k 2

sudo sh -c 'echo 2 > /proc/sys/vm/drop_caches'

.bashrc: 这个文件主要用于交互式的非登录shell。当你启动一个新的终端窗口或标签页时，通常会加载.bashrc文件。

.profile: 这个文件则主要应用于登录shell。当通过SSH登录到机器，或者使用诸如su -这样的命令切换到另一个用户时，系统会启动一个登录shell，并读取.profile文件（如果存在）。

top

htop

top -p id

查看XXX进程

查看端口号

检查防火墙设置

查看网卡状态

查看网卡的ip地址信息

curl -X POST -H "Authorization: Bearer token" -d "username=user&password=pass" -i https://www.example.com/login

是一种较为古老的文件系统格式

支持最大单个文件4GB，最大磁盘容量为2TB。

FAT32格式通常用于移动设备和存储设备，如U盘、SD卡等。几乎所有操作系统都支持FAT32格式。

是Windows操作系统中常用的文件系统格式

支持单个文件大小达到16TB，最大磁盘容量为256TB。

NTFS格式支持文件加密、压缩、权限控制等功能。Windows操作系统完全支持NTFS格式，其他操作系统 macOS, Linux 可以读取 NTFS格式的磁盘。

一种针对移动设备和闪存存储设备设计的文件系统格式

支持单个文件大小达到16EB，最大磁盘容量为128PB。

exFAT格式通常用于大容量移动硬盘、闪存卡等设备。Windows、macOS和Linux 等操作系统都支持exFAT格式。

是苹果公司开发的文件系统格式，用于Mac OS X操作系统。

HFS+支持单个文件大小达到8EB，最大磁盘容量为8EB。

HFS+格式在macOS系统中得到完全支持，但在Windows和Linux系统中需要安装额外的驱动程序才能读取HFS+格式的磁盘。

是指在磁盘上分配存储空间的最小单位。选择合适的单元大小可以影响磁盘的性能和空间利用率。

原理：分配单元大小的选择会影响文件系统的存储效率。

fdisk -l

lsblk

df -h

格式化磁盘

挂载到目录

自动挂载/models案例

迁移docker到挂载盘案例

parted /dev/sdc print

parted /dev/sdc

清空页缓存，即释放被占用的内存。但需要注意的是，这个命令只会清空页缓存，不会清空缓冲区和缓存区。

清空页缓存和目录项缓存，释放缓存占用的内存。

一个综合性的清理内存命令：会先显示当前内存使用情况，然后执行sync命令将数据同步到磁盘中，接着清空缓存，最后再次显示内存使用情况。

常用参数：
-m：创建用户的同时创建用户的家目录。
-g：指定用户所属的初始用户组。

常用参数：
-aG：将用户添加到指定的用户组。
-l：修改用户名。

常用参数：
--remove-home：删除用户的同时删除用户的家目录。
passwd：用于修改用户密码。

groupadd：同addgroup，用于添加新用户组

groupdel：同delgroup，用于删除用户组

常用参数：
-g：修改用户的初始用户组。
-aG：将用户添加到指定的用户组。

最前面 - 代表的是类型
中间那三个 rwx 代表的是所有者（user）
然后那三个 rw- 代表的是组群（group）
最后那三个 r-- 代表的是其他人（other）

r 表示文件可以被读（read）
w 表示文件可以被写（write）
x 表示文件可以被执行（如果它是程序的话）
- 表示相应的权限还没有被授予

其中：rwx也可以用数字来代替
r ------------4
w -----------2
x ------------1
- ------------0

其中：
u 代表所有者（user）
g 代表所有者所在的组群（group）
o 代表其他人，但不是u和g （other）
a 代表全部的人，也就是包括u，g和o

sudo chmod 600 ××× （只有所有者有读和写的权限） 
sudo chmod 700 ××× （只有所有者有读和写以及执行的权限） 
sudo chmod 644 ××× （所有者有读和写的权限，组用户只有读的权限）  
sudo chmod 666 ××× （每个人都有读和写的权限） 
sudo chmod 777 ××× （每个人都有读和写以及执行的权限）
sudo chmod -R 777 文件或文件夹的名字（若分配给某个文件所有权限）

9870

8088

19888

9000、8020、9820

core-site.xml

hdfs-site.xml

yarn-site.xml

mapred-site.xml

workers

危害

解决

3

1.x 64m

2.x 3.x 128m

本地 32m

企业开发 128m、256m

块大小根据传输速率设置

map方法之后，reduce方法之前混洗的过程

getpartition 标记数据是哪一个分区的

优化：自定义分区

map之前压缩 数据量小：快 spappy/lzo 数据量大：切片 bzip2/lzop

map 快排、归并

reduce 归并、分组

nodemanager

单任务默认内存8G 分布式 128M数据->1G内存

client

fifo

容量调度器

公平调度器

apache 默认容量调度

并发度要求比较高，选择公平，中大型 并发度低，服务器性能差，选择容量

半数机制

10-3

20-5

50-7

100-7

台数越多，增加可靠性，效率低

taildirsource

channel

hdfs sink

拦截器

选择器

监控器

优化

memory

file

不会丢失，可能重复