分布式表格系统
2016-02-02 12:26:51 15 举报
AI智能生成
分布式表格系统是一种在多台计算机上存储和管理数据的技术。它将数据分散到多个节点上,每个节点都负责处理一部分数据,从而提高了系统的可扩展性和容错能力。这种系统通常使用一种称为“分片”的技术,将数据分成多个部分,每个部分存储在一个不同的节点上。这样,当需要查询或修改数据时,只需要访问相关的节点,而不需要在整个网络上搜索。此外,分布式表格系统还提供了一种机制来保证数据的一致性和可靠性。例如,可以使用复制技术来创建数据的多个副本,以防止数据丢失或损坏。总之,分布式表格系统是一种高效、可靠且可扩展的数据管理解决方案。
作者其他创作
大纲/内容
Google Bigtable
架构
Client
Master
Chubby 锁服务
执行 Master 选举:获取锁
核心算法 Paxos
解决分布式一致性问题
粗粒度的分布式锁服务
Tablet Server
数据类型
用户表
元数据表
根表
数据分布
两级元数据
优点:提高支持数据量
缺点:访问次数增多
解决
客户端缓存
过期问题
客户端预读
复制与一致性
提供强一致性
Chubby 互斥锁保证
解决:底层GFS弱一致性
写入GFS数据
操作日志
子表SSTable
容错
Master
Chubby 获取锁
Master 对 Tablet Server 监控
通过 Chubby
Tablet Server 故障
日志回放
负载均衡
子表迁移
压缩转出到GFS
不需要操作日志
二次压缩
因素
读写个数
磁盘、内存负载
分裂与合并
子表之间大小不一
单机存储
垃圾回收
讨论
不适合实时性要求高的业务
存储和服务分离
架构复杂定位bug难
Google Megastore
系统架构
客户端库
集中大部分功能
复制服务器
请求转发Bigtable
协调服务器
存储是否处于最新状态信息
实体组
每个实体组
Paxos 保证强一致性
REDO 日志回放
实体组之间
分布式队列保证最终一致性
两阶段提交协议实现分布式事务
并发控制
读事务
最新读取
快照读取
非一致性读取
写事务
复制
Paxos 协议
索引
局部索引
全局索引
额外索引
冗余索引
可重复索引
协调者
快速读
协调者可用性
竞争条件
读取流程
写入流程
讨论
创新点
实体组数据模型
Paxos 协议
高可靠
高可用
问题
Bigtable
过于复杂等
Windows Azure Storage
客户需求
解决方案
案例示范
保险方案
0 条评论
下一页