首页  思维笔记  详情

分布式缓存

2024-03-26 16:46:33   0  举报





分布式缓存知识点

redis

分布式缓存

缓存

面试

作者其他创作

大纲/内容

为什么要用缓存

高性能

高并发

缓存走的是内存

常见的缓存问题

读写不一致

缓存雪崩

缓存穿透

缓存并发竞争

redis

redis和memcached的区别

redis支持的数据结构较多，可以支持更多场景

性能对比:小数据redis，大数据memecached

集群模式：memecached没有原生的集群模式，redis官方支持

redis的线程模型

核心是文件事物处理器

如果客户端连接redis，那么socket会关联连接应答处理器

如果客户端往redis写数据，那么socket会关联命令请求处理器

如果客户端从redis读数据，那么socket会关联命令回复处理器

客户端与redis之间的一次通讯

1、在redis初始化的时候，redis会将连接应答处理器和RE_READABLE事件关联起来，当客户端跟redis进行连接，会生成一个RE_READABLE事件，这个事件经过IO多路复用器的监听将事件放到队列中，被文件事件分派器分派给连接应答处理器进行关联，从而创建和这个客户端对应的socket，并将这个socket和RE_READABLE关联起来。

2、当客户端想redis发起请求的时候（读或写），会找到对应的socket进行连接，这个socket将生产一个RE_READABLE事件，这个事件会被IO多路复用器监听到，将其放到队列中，被文件事件分派器分派给命令请求处理器，命令请求处理器会根据这个socket中的相关数据进行执行和处理（内存中）。

3、当redis中将返回的数据准备好，就会生成一个RE_WRITEABLE事件，经过上述步骤，被文件事件分派器分派到命令回复处理器，命令回复器会对对应socket输出内容，最后会删除socket上RE_WRITEABLE事件和命令回复器之间的关联。

为什么单线程的redis比多线程的memecahed效率高？

纯内存操作。

核心是非阻塞IO，IO的多路复用机制。

单线程避免了多线程上下文频繁切换带来的问题。

redis有哪些数据类型？

string

hash

list

set

sorted set

redis过期策略

根据数据的重要程度，设置过期时间

redis删除数据--定期删除和惰性删除

定期删除时redis每个100ms，就会随机抽取（不是去便利全部的key）一些过期时间的key，检查是否过去，过期就删除。

惰性删除：在取某个key的时候，redis会检查一下，这个key设置的过期时间是否过期，如果过期了将其删除。

内存淘汰（存在大量redis堆积，导致redis内存快要耗尽）

noeviction：当内存不足已重新写入时，新写入操作报错。

allkeys-lru：当内存不足已重新写入时，在键空间中，移除最近最少使用的key。

allkeys-random：当内存不足已重新写入时，在键空间中，随机移除key。

volatile-lru：当内存不足已重新写入时，在设置了过期时间的键空间中，移除最近最少使用的key。

volatile-random：当内存不足已重新写入时，在设置了过期时间的键空间中，随机移除key。

volatile-ttl：当内存不足已重新写入时，在设置了过期时间的键空间中，有更早设置过期时间的key移除。

如何保证redis高并发和高可用？redis的主从复制原理？redis哨兵模式原理？

读写分离，写的数据操作走master-redis，然后将数据复制到slave，读的操作走slave-redis；（一主多从）可以水平扩容

master必须开启持久化开启RDB和AOF

replication(复制)核心机制

reids 采用异步的方式复制到slave节点，从2.8开始，slave node 会周期性的确认自己每次复制的量

slave node可以链接其他的slave node

slave node 做复制的时候，是不会被block master node的正常工作的

slave node在做复制的时候，也不会block对自己的查询操作，他会用旧的数据集来提供服务，但是完成复制的时候，需要删除旧的数据集，加载新的数据集，这个时候就会暂停对外界的服务了

slave node主要作用是用来做横向扩容的，增加读的承载力

主从复制架构核心原理

当slave node 第一次链接时会触发一个全量复制，master node 会生成一个rdb的快照，,将rdb中的数据全部复制到slave node中，后续如果再链接就是复制部分数据

主从复制断点续传

master node 会在内存中维护一个backlog，master 和 slave都会保存一个replica offset还有一个master id(run id) ；如果master和slave网络断掉了，slave会让master从上次relica offset开始继续复制，如果没有找到对应的offset或者runid不一致就会执行一次全量复制。

全量复制

master执行一个bgsave操作，在本地生成一份rdb快照

master node 将rdb快照文件发送给slave node，如果rdb复制时间超过60s（repl-timeout），那么slave node 就会认为复制失败，所以根据需求可适当调大这个参数。

master node 在生成rdb时，会将所有新写的命令缓存在内存中，在slave node保存了rdb后，再将新的写命令复制给slave node.

client-output-buffer-limit slave 256m 64m 60，如果再复制期间写入文件大小一下超过256m或者在60s内大小持续超过64m就会停止复制，认为复制失败

slave node 接受到rdb文件后，后将该文件内容写道自己的内存中，在复制期间会基于旧的数据版本对外提供服务

果如slave node开启了AOF，那么会立即执行bgrewriteaof,重写AOF

无磁盘化复制

master再内存中直接创建rdb，然后发送给slave，不会落在自己的磁盘上

过期key处理

slave不会去过期key，如果key过期由master告诉slave将数据给删了，模拟一条del命令给slave

哨兵模式

只保证高可用，不保证数据不丢，主备切换

异步复制导致数据丢失

集群脑裂-》master主节点，出现了异常性，导致出现了两个master,这种请况也会导致数据丢失；某个master突然应为网络原因脱离了正常网络，跟其他的slave node 链接不上，但其实maste node其实还存活着，此时哨兵可能就认为master宕机了，开始进行选举，将其他的slave node 选举为master node，这个时候就有两个master了，这就是脑裂。

解决异步复制和脑裂数据丢失

min-slave-to-write 1

min-slaves-max-log 10 超过10s就停止对外部写入redis，由client端做降级处理写入到磁盘中，如果数据量很大，再做降级处理用限流处理。

脑裂的化：就是当master无法像slave同步数据超过10s就拒绝客户端的写入操作，后续流程和上述一样。

sdown和odown（主观宕机和客观宕机）

sdown是只要有一个哨兵觉得master宕机了，那就会去选举新的master；odown是必须要所有的哨兵(qorum定义的哨兵数量)都觉得master宕机了，才会去选举新的master

slave和master的选举算法

1、每个slave跟master断开连接的时间长度：如果一个slave和master断开连接已经超过了：down-after-millseconds的10倍，外加master的宕机时长，那么slave就会认为不适合选举为master

2、slave优先级：slave priority越低，优先级越高

3、复制offset：如果优先级一样，那么就要看replica offset，那个offset越靠后，那么优先级就越高

4、slave的run id：如果以上两个条件都一样，那么就选择一个run id较小的slave

redis持久化