redis学习笔记

Always命令执行完立马写日志到磁盘

EverySec每表写回，会丢数据

No由操作系统决定什么时候写回磁盘

AOF重写机制，后台子进程bgrewriteaof不阻塞主线程

save主线程执行，阻塞

bgsave，子进程不阻塞，默认

主从级联分担全量复制的主库压力

周期性给所有主从库发ping命令检测运行状态

如果没有收到ping返回，主库下线之后自动切换主库

选出新主库后，通知从库和客户端

主库上有名为“__sentinel__:hello”的频道，不同哨兵就是通过它来相互发现，实现互相通信

哨兵向主库发送INFO命令，主库返回从库列表

选举获取N/2+1个投票才可以执行具体的选主

set的差集、并集和交集

List按照先进先出排序

sorted set根据元素的权重来排序

BitMap

HyperLogLog 有误差率0.81%

时间范围内求最大或最小值

缺点

优点

缺点

–intrinsic-latency 选项，可以用来监测和统计测试期间内的最大延迟

系统在低压力、无干扰下的基本性能

用其他高效命令代替。比如说，如果你需要返回一个 SET 中的所有成员时，不要使用 SMEMBERS 命令，而是要使用 SSCAN 多次迭代返回，避免一次返回大量数据，造成线程阻塞。

当你需要执行排序、交集、并集操作时，可以在客户端完成，而不要用 SORT、SUNION、SINTER 这些命令，以免拖慢 Redis 实例。

KEYS 命令需要遍历存储的键值对，所以操作延时高。所以，KEYS 命令一般不被建议用于生产环境中。

排查过期 key 的时间设置，并根据实际使用需求，设置不同的过期时间。

Redis 键值对的 key 可以设置过期时间。默认情况下，Redis 每 100 毫秒会删除一些过期 key，具体的算法如下：采样 ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP 个数的 key，并将其中过期的 key 全部删除；如果超过 25% 的 key 过期了，则重复删除的过程，直到过期 key 的比例降至 25% 以下。

AOF 重写会对磁盘进行大量 IO 操作，同时，fsync 又需要等到数据写到磁盘后才能返回，所以，当 AOF 重写的压力比较大时，就会导致 fsync 被阻塞。虽然 fsync 是由后台子线程负责执行的，但是，主线程会监控 fsync 的执行进度。

产生的原因

解决方案

Linux 内核从 2.6.38 开始支持内存大页机制，该机制支持 2MB 大小的内存页分配，而常规的内存页分配是按 4KB 的粒度来执行的。

虽然内存大页可以给 Redis 带来内存分配方面的收益，但是，不要忘了，Redis 为了提供数据可靠性保证，需要将数据做持久化保存。这个写入过程由额外的线程执行，所以，此时，Redis 主线程仍然可以接收客户端写请求。客户端的写请求可能会修改正在进行持久化的数据。在这一过程中，Redis 就会采用写时复制机制，也就是说，一旦有数据要被修改，Redis 并不会直接修改内存中的数据，而是将这些数据拷贝一份，然后再进行修改。如果采用了内存大页，那么，即使客户端请求只修改 100B 的数据，Redis 也需要拷贝 2MB 的大页。相反，如果是常规内存页机制，只用拷贝 4KB。两者相比，你可以看到，当客户端请求修改或新写入数据较多时，内存大页机制将导致大量的拷贝，这就会影响 Redis 正常的访存操作，最终导致性能变慢。

mem_fragmentation_ratio 大于 1 但小于 1.5是合理的。这是因为，刚才我介绍的那些因素是难以避免的。毕竟，内因的内存分配器是一定要使用的，分配策略都是通用的，不会轻易修改；而外因由 Redis 负载决定，也无法限制。所以，存在内存碎片也是正常的。
mem_fragmentation_ratio 大于 1.5 。这表明内存碎片率已经超过了 50%。一般情况下，这个时候，我们就需要采取一些措施来降低内存碎片率了。

active-defrag-ignore-bytes 100mb：表示内存碎片的字节数达到 100MB 时，开始清理；
active-defrag-threshold-lower 10：表示内存碎片空间占操作系统分配给 Redis 的总空间比例达到 10% 时，开始清理。

active-defrag-cycle-min 25： 表示自动清理过程所用 CPU 时间的比例不低于 25%，保证清理能正常开展；
active-defrag-cycle-max 75：表示自动清理过程所用 CPU 时间的比例不高于 75%，一旦超过，就停止清理，从而避免在清理时，大量的内存拷贝阻塞 Redis，导致响应延迟升高。

保证数据可靠性

提供低延迟访问

volatile-lru

voilatile-random

voilatile-ttl

voilatile-lfu

allkeys-lru

allkeys-random

allkeys-lfu

应用从数据库读取到旧数据

并发请求从数据库读到旧值，并且更新到缓存，导致后续请求都读区旧值

应用从缓存读到旧数据

并发请求从缓存中读到旧值

开启一个事务

提交事务，从命令队列取出操作命令执行

放弃事务，清空队列

检测一个或者多个键的值在事务执行期间是否发生变化，如果发生变化，那么当前事务放弃执行

方案：使用外部监控程序对比主从库的复制进度，不让客户端从落后的从库中读数据

方案：使用expireat pexireat命令给数据设置过期时间点

方案：protected-mode设置为no,  调大cluster-node-timeout

业务层避免创建bigkey

把集合类型的bigkey拆分为多个小集群，分散保存

制定运维规范，避免把过多slot分配到一个实例上

如果hash tag会造成数据倾斜，优先避免数据倾斜，不使用hash tag

采用带有不同key前缀的多副本方法