Hadoop框架
2024-10-28 16:40:00 3 举报
为你推荐
查看更多
Hadoop框架
作者其他创作
大纲/内容
Mysql
Senator4
100MB
总统的选主:1.超过半数2.无脑选最大3.主的PID必须是最大的(数据是最的)
机架感知策略
Senator3
128MBBlok2
Senator6
居民
300MB
ReduceTask01
a.txt文件所属者:丁浩文件大小:300MB文件和文件块的映射关系:a.txt ->b1 b2 b3文件块和DN节点的映射关系:B1 -> DN1 DN2 DN3B2 -> DN3 DN4 DN5B3 -> DN2 DN5 DN6
内存:文件和文件块的映射关系文件块和DN节点的映射关系
edits_inprogress_00000000000011
2班
ZKFC
技术架构的演变----单体架构
DN04
reduce
NNResourceManagerApplicationMasterRM
PID=2
磁盘
Paxos算法----有主模型
观察者
C
加盐、去盐
DN1MapTask
电费设定为2元/度
64MBBlok3
快排
打标签、分区、快速排序
Senator1
居民(客户端)
Blok02(128MB)
PID=3
A
a.txt
node033
1.ZooKeeper怎么实现给自己选主的?2.ZooKeeper怎么实现帮别人选主的?
DN05
SID=6
Senator2
Merge减少了文件数,数据量没有改变,只是减少了网络 IO
.jar
DN1
合并因子默认为 10
HBse
Node01
DN03
给上一个节点添加监听机制
服务器总内存的0.7,溢写比例为0.66
MapTask02
ActiveNameNode(主)
浏览
DN5
判断zookeeper中是否存在节点
王 1
YARN----资源调度
128MBBlok1
组合器combiner
SID=7
所有的提议由总统发起
Senator5
10
DN01
硬盘:文件和文件块的映射关系
分区
Split02(64MB)
数据库 1w
物流系统
11.11秒杀
Blok01(128MB)
E
分区01 王 1 王 1 王 1 王 1 .....
王 999.....
消息队列(MQ)
DN3
抢红包(60)
Shuffle----分布式计算的天敌
读取器---->(Input)K (一行数据) V(偏移量)
MapTask01
HDFS
客户端
分区02 张 1 张 1 张 1 张 1 ....
执行删除操作
80%
Zookeeper----监听机制
🔒
12306
合并 Merge
DN06
骑兵
领导者
DN
判断zookeeper中是否是第一个节点
Node02
B
PID=1
DN4
跟随者
G
Node03
DN02
Paxos 小岛(集群)
溢写
node013
门卫(1000w)
分区01 王 1 王 1 王 1 王 1 .....
zookeeper
1班NodeManager
拿到锁
node020
Boss
F
1w
Senator7(总统)
MapReduce计算框架
map
APP
下单
压缩比例高,但是解压和压缩速度低选择与之相反
创建节点/qhb 0011/qhb 0012
Senator4000(总统)
订单系统
fsimage_000000000000000
分区02 张 1 张 1 张 1 张 1 ....
Split01(64MB)
Container
90-30=60
1.保证消息传递的正确性,不能被篡改----SCP 2.各个节点之间的相互信任----免密
1.0 2.0
QJM
DataNode(从属)
DN2
分区03 李 1 李 1 李 1 李 1 ....
聚合、归并
200
100-10=90
邵珠峰
Blok03(44MB)
Senator5..3998
分区03 李 1 李 1 李 1 李 1 ....
临时顺序节点
用户系统
公平
Paxos算法----基本模型
200(210)
拜占庭将军问题
DN6
抢红包
Senator3999
临时节点
Paxos算法----网络分区问题(脑裂)--加入朝代机制
StandbyNameNode(备)
4-6次落盘
Paxos算法----解决多节点问题
资源浪费、资源紧缺
归并
默认副本数:3
edits_inprogress_00000000000014
丁浩
逻辑切片
ZooKeeper
Split03(64MB)
HDFS----基础架构(朗驰网盘)
44MBBlok3
百家姓.txt(300MB)
创建节点/qhb 100/qhb2 80
D
Senator6(总统)
Split04(64MB)
ReduceTask02
张 29999
PC
0.0001w
H
非公平
1.是什么?2.怎么用?3.为什么?
帮别人选主:谁跑得快谁就是主
NN
0 条评论
回复 删除
下一页