一文看懂分布式
2020-05-29 14:49:23 1 举报一文看懂分布式
作者其他创作
大纲/内容
2
shuffle
CouchDBCassandraDynamoDBRiak
漫谈分布式
汇总sum=count=
小小铺垫：我们身边有分布式的例子吗？
分段计算：MapReduce 拆成n段多线程同时计算，最后汇总结果
Clent统计文件中hello出现的次数
主角登场
CAP
DataNode 03
试着分析一下
reduce
file0
MR
file0 03file1 02
灵魂三问：怎么分布式：怎么分布式存储，怎么分布式计算
count
result
why
----CAP登场 分布式理论-----------------------------------------------------------------------------------------------------------------------------
1
10001 + ... + 2w
how
还有
我要保证一致性
sum
思考问题：分布式带来的问题？Partition
NameNode记录meta元数据
灵魂二问：什么是分布式：分布式是干什么的？解决上面问题的
20001 + ... + 3w
可用性 Availability AP
4. 得到结果
既然接受了分布式
file1
存储
MapReduce分布式计算框架
----Hadoop登场-----------------------------------------------------------------------------------------------------------------------------------
计算
map
file0 64M
Hadoop分布式存储计算框架
what
分段存储：把长的链表分成n段，增加并行度，提升访问效率
----预热-----------------------------------------------------------------------------------------------------------------------------------------
DataNode 02
1. 文件在哪
数据异步复制，忍受暂时的不一致
3
分布式数据一致性Consistency
化整为零，把大的拆成小的
回答上面问题
分区容忍性 Partition Tolerance
分布式的基础理论
分开开后可以：并行存储、并行计算
2.存文件 file0
3. 我已存
0
DataNode 01
灵魂一问：为什么要分布式：好好的分开干嘛？遇到什么问题了？
3. 存结果
HDFS分布式文件系统
大家先别用，忍受暂时的不可用，等我同步完数据
一致性ConsistencyCA CP
30001+30002
MongoDBHBaseRedis
我要保证可用性
2. 取文件
分布式的服务可用性Availability
MR计算过程同上面Fork/Join
很长的链表_时间复杂度O(n）
HashMap
ResourceManager
1. 存哪里
file1 64M
传统存储计算遇到单机性能瓶颈、或者说提升单机性能带来的收益越来越小
map后计算的结果：
1+ ... + 1w
1 + 2 + 3 + ............. + 30002 = ？ 很大的计算从1加到30005
Client存文件 file 128M
sum=2
Fork/Join
count=60003
拆分
CAP Theorem
RDBMS
有
0 条评论
下一页
