Hadoop框架
2024-10-28 16:40:00 5 举报Hadoop框架
作者其他创作
大纲/内容
Mysql
Senator4
100MB
总统的选主：1.超过半数2.无脑选最大3.主的PID必须是最大的（数据是最的）
机架感知策略
Senator3
128MBBlok2
Senator6
居民
300MB
ReduceTask01
a.txt文件所属者：丁浩文件大小：300MB文件和文件块的映射关系：a.txt ->b1 b2 b3文件块和DN节点的映射关系：B1 -> DN1 DN2 DN3B2 -> DN3 DN4 DN5B3 -> DN2 DN5 DN6
内存：文件和文件块的映射关系文件块和DN节点的映射关系
edits_inprogress_00000000000011
2班
ZKFC
技术架构的演变----单体架构
DN04
reduce
NNResourceManagerApplicationMasterRM
PID=2
磁盘
Paxos算法----有主模型
观察者
C
加盐、去盐
DN1MapTask
电费设定为2元/度
64MBBlok3
快排
打标签、分区、快速排序
Senator1
居民（客户端)
Blok02（128MB）
PID=3
A
a.txt
node033
1.ZooKeeper怎么实现给自己选主的？2.ZooKeeper怎么实现帮别人选主的？
DN05
SID=6
Senator2
Merge减少了文件数，数据量没有改变，只是减少了网络 IO
.jar
DN1
合并因子默认为 10
HBse
Node01
DN03
给上一个节点添加监听机制
服务器总内存的0.7，溢写比例为0.66
MapTask02
ActiveNameNode（主）
浏览
DN5
判断zookeeper中是否存在节点
王 1
YARN----资源调度
128MBBlok1
组合器combiner
SID=7
所有的提议由总统发起
Senator5
10
DN01
硬盘：文件和文件块的映射关系
分区
Split02（64MB）
数据库 1w
物流系统
11.11秒杀
Blok01（128MB）
E
分区01 王 1 王 1 王 1 王 1 .....
王 999.....
消息队列（MQ）
DN3
抢红包（60）
Shuffle----分布式计算的天敌
读取器---->（Input）K （一行数据） V（偏移量）
MapTask01
HDFS
客户端
分区02 张 1 张 1 张 1 张 1 ....
执行删除操作
80%
Zookeeper----监听机制
🔒
12306
合并 Merge
DN06
骑兵
领导者
DN
判断zookeeper中是否是第一个节点
Node02
B
PID=1
DN4
跟随者
G
Node03
DN02
Paxos 小岛（集群）
溢写
node013
门卫（1000w）
分区01 王 1 王 1 王 1 王 1 .....
zookeeper
1班NodeManager
拿到锁
node020
Boss
F
1w
Senator7（总统）
MapReduce计算框架
map
APP
下单
压缩比例高，但是解压和压缩速度低选择与之相反
创建节点/qhb 0011/qhb 0012
Senator4000（总统）
订单系统
fsimage_000000000000000
分区02 张 1 张 1 张 1 张 1 ....
Split01（64MB）
Container
90-30=60
1.保证消息传递的正确性，不能被篡改----SCP 2.各个节点之间的相互信任----免密
1.0 2.0
QJM
DataNode（从属）
DN2
分区03 李 1 李 1 李 1 李 1 ....
聚合、归并
200
100-10=90
邵珠峰
Blok03（44MB）
Senator5..3998
分区03 李 1 李 1 李 1 李 1 ....
临时顺序节点
用户系统
公平
Paxos算法----基本模型
200（210）
拜占庭将军问题
DN6
抢红包
Senator3999
临时节点
Paxos算法----网络分区问题（脑裂）--加入朝代机制
StandbyNameNode（备)
4-6次落盘
Paxos算法----解决多节点问题
资源浪费、资源紧缺
归并
默认副本数：3
edits_inprogress_00000000000014
丁浩
逻辑切片
ZooKeeper
Split03（64MB）
HDFS----基础架构（朗驰网盘）
44MBBlok3
百家姓.txt（300MB）
创建节点/qhb 100/qhb2 80
D
Senator6（总统）
Split04（64MB）
ReduceTask02
张 29999
PC
0.0001w
H
非公平
1.是什么？2.怎么用？3.为什么？
帮别人选主：谁跑得快谁就是主
NN
0 条评论
下一页
