redis

默认情况下：redis将内存数据库快照
保存在名字为dump.rdb的二进制文件中

可以对 Redis 进行设置， 让它在“ N 秒内数据集至少有 M 个改动”
这一条件被满足时， 自动保存一次数据集。

写时复制：COW(Copy-On-Write)

优点

缺点

快照功能并不是非常耐久（durable）： 如果 Redis 因为某些原因而造成故障停机， 那么服务器将丢失最近写入、且仍未保存到快照中的那些数据。从 1.1 版本开始， Redis 增加了一种完全耐久的持久化方式： AOF 持久化，将修改的每一条指令记录进文件appendonly.aof中(先写入os cache，每隔一段时间fsync到磁盘)
比如执行命令“set zhuge 666”，aof文件里会记录如下数据

开启功能：# appendonly yes

配置

优点

缺点

开启

优点

出现背景

1写crontab定时调度脚本，每小时都copy一份rdb或aof的备份到一个目录中去，仅仅保留最近48小时的备份

2每天都保留一份当日的数据备份到一个目录中去，可以保留最近1个月的备份

3每次copy备份的时候，都把太旧的备份给删了

4每天晚上将当前机器上的备份复制一份到其他机器上，以防机器损坏

一个由多个主从节点群组成的分布式服务器群，它具有复制、高可用和分片特性

Redis集群不需要sentinel哨兵·也能完成节点移除和故障转移的功能

需要将每个节点设置成集群模式，这种集群模式没有中心节点，可水平扩展，
据官方文档称可以线性扩展到上万个节点(官方推荐不超过1000个节点)

redis集群的性能和高可用性均优于之前版本的哨兵模式，且集群配置非常简单

1.redis cluster将所有数据划分为16384个槽位（slots）,每个节点负责一部分槽位，
槽位的信息存储在每个节点中

2.当redis cluster的客户端，来连接集群是，他也会得到一份槽位的配置信息，并缓存在客户端

3.当客户请求某个Key时，可以直接定位到某个目标节点

4.同时因为槽位的信息会存在客户端与服务器不一致的情况，还需要纠正机制来实现槽位的调整

1.客户端根据自身缓存的槽位配置信息，去访问某个节点

2.访问的节点中没有该Key,则会向客户端发送携带目标操作的节点的地址
（也就是说将key正真所在的节点信息发送给客户端，告诉客户端到真正的节点去访问）

3.客户端接收到命令后，除了去正确节点操作，还会同步更新本地混村的槽位配置信息，
后续所有key将使用新的操作信息

Cluster 默认会对 key 值使用 crc16 算法进行 hash 得到一个整数值，然后用这个整数值对 16384 进行取模来得到具体槽位。
HASH_SLOT = CRC16(key) mod 16384

集中式

gossip

Redis Cluster 提供了一种选项cluster-node-timeout，
表示当某个节点持续 timeout 的时间失联时，才可以认定该节点出现故障，
需要进行主从切换。如果没有这个选项，网络抖动会导致主从频繁切换 (数据的重新复制)。

1.1.slave发现自己的master变为FAIL

2.将自己记录的集群currentEpoch加1，并广播FAILOVER_AUTH_REQUEST 信息

3.其他节点收到该信息，只有master响应，
判断请求者的合法性，并发送FAILOVER_AUTH_ACK
，对每一个epoch只发送一次ack

4.尝试failover的slave收集master返回的FAILOVER_AUTH_ACK

5.slave收到超过半数master的ack后变成新Master(
这里解释了集群为什么至少需要三个主节点，如果只有两个
，当其中一个挂了，只剩一个主节点是不能选举成功的)

6.slave广播Pong消息通知其他集群节点。

从节点并不是在主节点一进入 FAIL 状态就马上尝试发起选举，
而是有一定延迟，一定的延迟确保我们等待FAIL状态在集群中传播，
slave如果立即尝试选举，其它masters或许尚未意识到FAIL状态，可能会拒绝投票

对于类似mset，mget这样的多个key的原生批量操作命令，redis集群只支持所有key落在同一slot的情况，如果有多个key一定要用mset命令在redis集群上操作，则可以在key的前面加上{XX}，这样参数数据分片hash计算的只会是大括号里的值，这样能确保不同的key能落到同一slot里去

由于大批量缓存在同一时间失效可能导致大量请求同时穿透缓存直达数据库，
可能会造成数据库瞬间压力过大甚至挂掉

对于这种情况我们在批量增加缓存时最好将这一批数据的缓存过期时间设置为一个时间段内的不同时间。

redis单线程主要指的是网络IO,
和键值对读写是单线程，这也是 Redis 对外提供键值存储服务的主要流程。
但 Redis 的其他功能，比如持久化、异步删除、集群数据同步等，其实是由额外的线程执行的。

因为，redis主要是内存级别的存储，所有的运算都是内存级别的运算，而且单线程避免了多线程的切换性能损耗问题，
正因为是单线程，在使用redis命令是需要格外谨慎，以免造成卡顿

redis利用epoll实现多路复用，将连接信息
放到队列中，依次放到文件事件分发器中，
事件分派器将事件分发给事件处理器。

为master配置slave

原理

sentinel哨兵是特殊的redis服务，不提供读写服务，主要用来监控redis实例节点。

哨兵架构下client端第一次从哨兵找出redis的主节点，后续就直接访问redis的主节点，不会每次都通过sentinel代理访问redis的主节点，当redis的主节点发生变化，哨兵会第一时间感知到，并且将新的redis主节点通知给client端(这里面redis的client端一般都实现了订阅功能，订阅sentinel发布的节点变动消息)

哨兵的配置略微复杂，并且性能和高可用性等各方面表现一般

在主从切换的瞬间存在访问瞬断的情况

只有一个主节点对外提供服务，没法支持很高的并发

且单个主节点内存也不宜设置得过大，否则会导致持久化文件过大，影响数据恢复或主从同步的效率

缓存穿透是指查询一个根本不存在的数据， 缓存层和存储层都不会命中，
通常出于容错的考虑， 如果从存储层查不到数据则不写入缓存层。

第一， 自身业务代码或者数据出现问题。
第二， 一些恶意攻击、 爬虫等造成大量空命中。 

1、缓存空对象

2.对于恶意攻击，向服务器请求大量不存在的数据造成的缓存穿透，
还可以用布隆过滤器先做一次过滤，对于不存在的数据布隆过滤器一般都能够过滤掉，
不让请求再往后端发送。当布隆过滤器说某个值存在时，这个值可能不存在；当它说不存在时，那就肯定不存在。

缓存雪崩指的是缓存层支撑不住或宕掉后，流量会像奔逃的野牛一样， 打向后端存储层。
由于缓存层承载着大量请求， 有效地保护了存储层，
但是如果缓存层由于某些原因不能提供服务(比如超大并发过来，缓存层支撑不住，或者由于缓存设计不好，
类似大量请求访问bigkey，导致缓存能支撑的并发急剧下降)， 于是大量请求都会打到存储层， 存储层的调用量会暴增， 造成存储层也会级联宕机的情况。 

1.1） 保证缓存层服务高可用性，比如使用Redis Sentinel或Redis Cluster。

2 依赖隔离组件为后端限流熔断并降级。比如使用Sentinel或Hystrix限流降级组件。
比如服务降级，我们可以针对不同的数据采取不同的处理方式。当业务应用访问的是非核心数据（例如电商商品属性，用户信息等）时，暂时停止从缓存中查询这些数据，而是直接返回预定义的默认降级信息、空值或是错误提示信息；当业务应用访问的是核心数据（例如电商商品库存）时，仍然允许查询缓存，如果缓存缺失，也可以继续通过数据库读取。

3提前演练。 在项目上线前， 演练缓存层宕掉后， 应用以及后端的负载情况以及可能出现的问题， 在此基础上做一些预案设定。

定时删除,用一个定时器来负责监视key,过期则自动删除。虽然内存及时释放，但是十分消耗CPU资源。在
大并发请求下，CPU要将时间应用在处理请求，而不是删除key,因此没有采用这一策略

定期删除，redis默认每个100ms检查，是否有过期的key,有过期key则删除。需要说明的是，redis不是
每个100ms将所有的key检查一次，而是随机抽取进行检查；
因此，如果只采用定期删除策略，会导致很多key到时间没有删除

只有当访问一个key时，才会判断该key是否已过期，过期则清除。该策略可以最大化地节省CPU资源，却对内存非常不友好。
极端情况可能出现大量的过期key没有再次被访问，从而不会被清除，占用大量内存

存在问题：，如果定期删除没删除key。然后你也没即时去请求key，
也就是说惰性删除也没生效。这样，redis的内存会越来越高。那么就应该采用内存淘汰机制

配置项：maxmemory-policy volatile-lru