Redis思维导图
2021-01-21 21:53:02 7 举报AI智能生成
Redis思维导图
作者其他创作
大纲/内容
Redis思维导图
Redis基础、高级特性与性能调优
特性及应用场景
特性
文件事件处理器：单线程
内存操作
支持数据持久化
非阻塞IO(epoll)，IO多路复用
支持事务
应用场景
缓存
队列
网站访问统计
分布式Session
应用排行榜
社交关系图
版本新特性
2.8
主从断线重连后采取部分复制(Psync)
Redis Sentinel Stable
3.0
Redis Cluster
3.2
GEO
4.0
提供模块系统方便第三方拓展
非阻塞del和flushall/flushdb功能
RDB和AOF混合持久化模式
Redis Cluster兼容NAT和Docker
5.0
新Redis模块API:Timers and Cluster API
RDB现在存储LFU和LRU信息
集群管理器从Ruby(redis-trib.rb)改成C重写
新sorted set命令:ZPOPMIN/MAX和阻塞变量
主动碎片整理
增强HyperLogLog实现
内存统计报告更直观
Jemalloc升级到5.1版
数据结构及内部编码
基本数据类型
字符串(String)
基础知识
整型(int)
embstr编码的简单动态字符串
简单动态字符串
常用命令
SET
为一个key设置value，可以配合EX/PX参数指定key的有效期，通过NX/XX参数针对key是否存在的情况进行区别操作，时间复杂度O(1)
GET
获取某个key对应的value，时间复杂度O(1)
SETNX
只有在 key 不存在时设置 key 的值。返回1表示设置成功，0表示设置失败
SETEX
SETEX key seconds value 将值 value 关联到 key ，并将 key 的过期时间设为 seconds (以秒为单位)。
GETSET
为一个key设置value，并返回该key的原value，时间复杂度O(1)
MSET
同时设置一个或多个 key-value 对。
MSETNX
同时设置一个或多个 key-value 对，当且仅当所有给定 key 都不存在。
MGET
获取所有(一个或多个)给定 key 的值
INCR
将 key 中储存的数字值增一。
INCRBY
将 key 所储存的值加上给定的增量值（increment）
DECR
将 key 中储存的数字值减一。
DECRBY
key 所储存的值减去给定的减量值（decrement） 。
APPEND
如果 key 已经存在并且是一个字符串， APPEND 命令将指定的 value 追加到该 key 原来值（value）的末尾。
列表(List)
链表(Linkedlist)
快速列表(Quicklist)
LINDEX key index
通过索引获取列表中的元素
LINSERT key BEFORE|AFTER pivot value
LLEN key
获取列表长度
LPOP key
移出并获取列表的第一个元素
LPUSH key value1 [value2]
将一个或多个值插入到列表头部
LPUSHX key value
将一个值插入到已存在的列表头部
LRANGE key start stop
获取列表指定范围内的元素
LREM key count value
移除列表元素
LSET key index value
通过索引设置列表元素的值
LTRIM key start stop
对一个列表进行修剪(trim)，就是说，让列表只保留指定区间内的元素，不在指定区间之内的元素都将被删除。
RPOP key
移除列表的最后一个元素，返回值为移除的元素。
RPOPLPUSH source destination
移除列表的最后一个元素，并将该元素添加到另一个列表并返回
RPUSH key value1 [value2]
在列表中添加一个或多个值
RPUSHX key value
为已存在的列表添加值
BLPOP key1 [key2 ] timeout
移出并获取列表的第一个元素， 如果列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止。
\tBRPOP key1 [key2 ] timeout
移出并获取列表的最后一个元素， 如果列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止。
BRPOPLPUSH source destination timeout
从列表中弹出一个值，将弹出的元素插入到另外一个列表中并返回它； 如果列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止。
哈希(Hash)
哈希表(Hashtable)
压缩表(Ziplist)
HDEL key field1 [field2]
删除一个或多个哈希表字段
HEXISTS key field
查看哈希表 key 中，指定的字段是否存在。
HGET key field
获取存储在哈希表中指定字段的值。
HGETALL key
获取在哈希表中指定 key 的所有字段和值
HINCRBY key field increment
为哈希表 key 中的指定字段的整数值加上增量 increment 。
HINCRBYFLOAT key field increment
为哈希表 key 中的指定字段的浮点数值加上增量 increment 。
HKEYS key
获取所有哈希表中的字段
HLEN key
\t获取哈希表中字段的数量
HMGET key field1 [field2]
获取所有给定字段的值
\tHMSET key field1 value1 [field2 value2 ]
同时将多个 field-value (域-值)对设置到哈希表 key 中。
HSET key field value
将哈希表 key 中的字段 field 的值设为 value 。
HSETNX key field value
只有在字段 field 不存在时，设置哈希表字段的值。
HVALS key
获取哈希表中所有值
HSCAN key cursor [MATCH pattern] [COUNT count]
迭代哈希表中的键值对。
集合(Set)
整型集合(intset)
SADD key member1 [member2]
向集合添加一个或多个成员
SCARD key
获取集合的成员数
SDIFF key1 [key2]
返回第一个集合与其他集合之间的差异。
SDIFFSTORE destination key1 [key2]
返回给定所有集合的差集并存储在 destination 中
SINTER key1 [key2]
返回给定所有集合的交集
SINTERSTORE destination key1 [key2]
返回给定所有集合的交集并存储在 destination 中
SISMEMBER key member
判断 member 元素是否是集合 key 的成员
SMEMBERS key
返回集合中的所有成员
SMOVE source destination member
将 member 元素从 source 集合移动到 destination 集合
SPOP key
移除并返回集合中的一个随机元素
SRANDMEMBER key [count]
返回集合中一个或多个随机数
\tSREM key member1 [member2]
移除集合中一个或多个成员
SUNION key1 [key2]
返回所有给定集合的并集
SUNIONSTORE destination key1 [key2]
所有给定集合的并集存储在 destination 集合中
SSCAN key cursor [MATCH pattern] [COUNT count]
迭代集合中的元素
有序集合(Zset)
跳跃表(Skiplist)
ZADD key score1 member1 [score2 member2]
向有序集合添加一个或多个成员，或者更新已存在成员的分数
ZCARD key
获取有序集合的成员数
\tZCOUNT key min max
计算在有序集合中指定区间分数的成员数
ZINCRBY key increment member
有序集合中对指定成员的分数加上增量 increment
ZINTERSTORE destination numkeys key [key ...]
计算给定的一个或多个有序集的交集并将结果集存储在新的有序集合 destination 中
ZLEXCOUNT key min max
在有序集合中计算指定字典区间内成员数量
ZRANGE key start stop [WITHSCORES]
通过索引区间返回有序集合指定区间内的成员
ZRANGEBYLEX key min max [LIMIT offset count]
通过字典区间返回有序集合的成员
ZRANGEBYSCORE key min max [WITHSCORES] [LIMIT]
通过分数返回有序集合指定区间内的成员
ZRANK key member
返回有序集合中指定成员的索引
ZREM key member [member ...]
移除有序集合中的一个或多个成员
ZREMRANGEBYLEX key min max
移除有序集合中给定的字典区间的所有成员
\tZREMRANGEBYRANK key start stop
移除有序集合中给定的排名区间的所有成员
ZREMRANGEBYSCORE key min max
移除有序集合中给定的分数区间的所有成员
ZREVRANGE key start stop [WITHSCORES]
返回有序集中指定区间内的成员，通过索引，分数从高到低
ZREVRANGEBYSCORE key max min [WITHSCORES]
返回有序集中指定分数区间内的成员，分数从高到低排序
ZREVRANK key member
返回有序集合中指定成员的排名，有序集成员按分数值递减(从大到小)排序
ZSCORE key member
返回有序集中，成员的分数值
ZUNIONSTORE destination numkeys key [key ...]
计算给定的一个或多个有序集的并集，并存储在新的 key 中
ZSCAN key cursor [MATCH pattern] [COUNT count]
迭代有序集合中的元素（包括元素成员和元素分值）
其他数据类型
Bitmap
Bitmap在Redis中不是一种实际的数据类型，而是一种将String作为Bitmap使用的方法。可以理解为将String转换为bit数组。使用Bitmap来存储true/false类型的简单数据极为节省空间。
SETBIT key offset value
设置或者清空key的value(字符串)在offset处的bit值(只能只0或者1)。
GETBIT
BITCOUNT
BITOP operation destkey key [key ...]
说明：对一个或多个保存二进制位的字符串 key 进行位元操作，并将结果保存到 destkey 上。说明：BITOP 命令支持 AND 、 OR 、 NOT 、 XOR 这四种操作中的任意一种参数
Hyperloglog
HyperLogLog 是用来做基数统计的算法，HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定 的、并且是很小的。在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基 数。这和计算基数时，元素越多耗费内存就越多的集合形成鲜明对比。但是，因为 HyperLogLog 只会根据输入元素来计算基数，而不会储存输入元素本身，所以 HyperLogLog 不能像集合那样，返回输入的各个元素。
PFADD key element [element ...]
添加指定元素到 HyperLogLog 中。
PFCOUNT key [key ...]
返回给定 HyperLogLog 的基数估算值。
PFMERGE destkey sourcekey [sourcekey ...]
将多个 HyperLogLog 合并为一个 HyperLogLog
GEOspatial
Redis GEO 主要用于存储地理位置信息，并对存储的信息进行操作，该功能在 Redis 3.2 版本新增。
geoadd：添加地理位置的坐标。geopos：获取地理位置的坐标。geodist：计算两个位置之间的距离。georadius：根据用户给定的经纬度坐标来获取指定范围内的地理位置集合。georadiusbymember：根据储存在位置集合里面的某个地点获取指定范围内的地理位置集合。geohash：返回一个或多个位置对象的 geohash 值
Stream
Redis Stream 是 Redis 5.0 版本新增加的数据结构。Redis Stream 主要用于消息队列（MQ，Message Queue），Redis 本身是有一个 Redis 发布订阅 (pub/sub) 来实现消息队列的功能，但它有个缺点就是消息无法持久化，如果出现网络断开、Redis 宕机等，消息就会被丢弃。简单来说发布订阅 (pub/sub) 可以分发消息，但无法记录历史消息。而 Redis Stream 提供了消息的持久化和主备复制功能，可以让任何客户端访问任何时刻的数据，并且能记住每一个客户端的访问位置，还能保证消息不丢失。
消息队列相关命令：XADD - 添加消息到末尾XTRIM - 对流进行修剪，限制长度XDEL - 删除消息XLEN - 获取流包含的元素数量，即消息长度XRANGE - 获取消息列表，会自动过滤已经删除的消息XREVRANGE - 反向获取消息列表，ID 从大到小XREAD - 以阻塞或非阻塞方式获取消息列表消费者组相关命令：XGROUP CREATE - 创建消费者组XREADGROUP GROUP - 读取消费者组中的消息XACK - 将消息标记为\"已处理\"XGROUP SETID - 为消费者组设置新的最后递送消息IDXGROUP DELCONSUMER - 删除消费者XGROUP DESTROY - 删除消费者组XPENDING - 显示待处理消息的相关信息XCLAIM - 转移消息的归属权XINFO - 查看流和消费者组的相关信息；XINFO GROUPS - 打印消费者组的信息；XINFO STREAM - 打印流信息
持久化
RDB
内存快照
AOF
日志文件追加记录
复制
原理
同步RDB文件
复制缓冲区
类型
全量复制(Sync)
拓扑
星型
主 - 从(单节点)
主 - 从(多节点)
树型
主 - 从(主) - 从
高可用
Redis Sentinel
Redis Cluster(集群自带高可用)
Keepalived
分布式
方案
集群
中间件分片
TwemProxy
CodisProxy
客户端分片
业务程序
一致性哈希算法
Codis
虚拟槽分区(1024个槽)
Gossip协议 -- 集群数据节点内部相互通信
Raft算法 -- 集群内选主
虚拟槽分区(16384个槽)
阻塞
持久化阻塞
Fork子进程
RDB持久化
AOF文件重写
命令阻塞
keys *
smembers
lrange
hgetall
内存
内存消耗
对象内存
存储着所有数据
缓冲内存
客户端缓冲
通过参数client-output-buffer-limit控制
复制积压缓冲区
根据repl-backlog-size参数控制
AOF缓冲区
用于在Redis重写AOF文件期间保存最近的写入命令
内存碎片
可采用数据对齐和安全重启等方式规避内存碎片的问题
内存回收策略
no-enviction
禁止驱逐数据，这也是默认策略。意思是当内存不足以容纳新入数据时，新写入操作就会报错，请求可以继续进行，线上任务也不能持续进行，采用no-enviction策略可以保证数据不被丢失
allkeys-random
从数据集（server.db[i].dict）中任意选择数据淘汰
allkeys-lfu
从数据集中挑选使用频率最低的数据淘汰
allkeys-lru
从数据集中挑选最近最少使用的数据淘汰
volatile-random
从已设置过期时间的数据集中任意选择数据淘汰
volatile-lfu
从已设置过期时间的数据集挑选使用频率最低的数据淘汰
volatile-ttl
从已设置过期时间的数据集中挑选将要过期的数据淘汰
volatile-lru
从已设置过期时间的数据集中挑选最近最少使用的数据淘汰
内存淘汰机制实现
消极方法（passive way），在主键被访问时如果发现它已经失效，那么就删除它。redis在实现GET、MGET、HGET、LRANGE等所有涉及到读取数据的命令时都会调用 expireIfNeeded，它存在的意义就是在读取数据之前先检查一下它有没有失效，如果失效了就删除它
积极方法（active way），周期性地探测，发现失效就删除。消极方法的缺点是，如果key 迟迟不被访问，就会占用很多内存空间，所以才有积极方式
主动删除：当内存超过maxmemory限定时，触发主动清理策略，该策略由启动参数的配置决定
内存优化
缩减键值对象的长度
共享对象池
字符串优化
编码优化(使用ziplist编码能节约内存但会提高耗时-空间换时间)
控制键的数量(如使用hash结构重构字符串结构)
客户端
Jedis(Java)
Redis-py(Python)
Redigo(GO)
辅助功能
慢查询(slowquery)
管道(pipeline)
缓存问题隐患
缓存无底洞
缓存穿透
缓存雪崩
热点key倾斜
热点key重建
性能调优
vm.overcommit_memory=1
vm.swapiness=1
关闭THP特性
echo never > /sys/kernel/mm/transparent_hugepage/enabled
调大ulimit
调大TCP Backlog
Redis参数调优
Redis3.2.8配置参数及说明
appendfsync
no-appendfsync-on-rewrite
auto-aof-rewrite-percentage
auto-aof-rewrite-min-size
hash-max-ziplist-entries
hash-max-ziplist-value
list-max-ziplist-size
set-max-intset-entries
zset-max-ziplist-entries
zset-max-ziplist-value
hll-sparse-max-bytes
client-output-buffer-limit
监控
info
redis状态与性能监控
redis-stat
redislive
redis运行状态图形化监控工具 — RedisLive
redis-cli monitor
redis-cli --latency
Codis Dashboard
Zabbix
Grafana
事务
Redis 事务可以一次执行多个命令， 并且带有以下三个重要的保证：批量操作在发送 EXEC 命令前被放入队列缓存。收到 EXEC 命令后进入事务执行，事务中任意命令执行失败，其余的命令依然被执行。在事务执行过程，其他客户端提交的命令请求不会插入到事务执行命令序列中。一个事务从开始到执行会经历以下三个阶段：开始事务：MUITI 命令入队：写操作命令执行事务：EXEC
0 条评论
回复 删除
下一页
