分布式文件系统
2016-01-31 11:02:43 16 举报
AI智能生成
分布式文件系统是一种允许多个计算机节点通过网络共享和管理数据的存储系统。它将数据分散存储在多个物理设备上,而不是集中在单一的中央服务器上。这种系统的主要优点是提高了数据访问速度和可靠性,因为用户可以通过连接到最近的节点来获取数据,而且即使某个节点出现故障,其他节点仍然可以提供数据。此外,分布式文件系统还支持并行处理和负载均衡,从而提高了整体性能。然而,它也存在一些挑战,如数据一致性、安全性和数据迁移等问题。尽管如此,随着云计算和大数据的发展,分布式文件系统正在变得越来越重要。
作者其他创作
大纲/内容
Google 文件系统
系统架构
主控服务器(master)
数据块服务器(GFS ChunkServer)
客户端
关键问题
租约机制
减小Master压力
一致性模型
追加流程
容错机制
MasterServer
checkpoint
操作日志
ChunkServer
多个副本
数据校验和
Master 设计
内存占用
负载均衡
垃圾回收
定时器
快照
写时复制
ChunkServer 设计
异步删除
讨论
扩展性
容错
单 Master 节点
设计简单
较好地实现一致性
Taobao File System
两个问题
Metadata 存储
减少磁盘 IO 次数
系统架构
追加流程
简洁
NameServer
Block 管理
创建、删除、复制、重新均衡
DataServer 管理
心跳、加入、退出
Block 与 DataServer 映射
讨论
图片去重
图片删除与更新
Facebook Haystack
更新频繁,写多
系统架构
包括:目录、存储、缓存
写流程
惰性删除
容错处理
存储节点容错
副本
目录容错
主备数据库
Haystack 目录
逻辑->物理卷轴
提供负载均衡
屏蔽 CDN
只读标记
Haystack 存储
讨论
空洞问题:Compaction
内容分发网络
边缘节点,就近获取
淘宝 CDN 架构
全局调度+两级缓存
失效 -> Nginx -> TFS
LVS + Haproxy 进行负载均衡
分级存储+低功耗服务器定制
0 条评论
下一页
为你推荐
查看更多