Redis核心数据结构与高性能原理
2020-11-10 18:37:23 0 举报AI智能生成
Redis核心数据结构与高性能原理
作者其他创作
大纲/内容
Redis哨兵高可用架构
sentinel
哨兵leader选举流程
缓存设计
缓存穿透
解决方案
缓存空对象
布隆过滤器
缓存失效
解决方案
不同过期期间
缓存雪崩
解决方案
保证缓存层服务高可用性，比如使用Redis Sentinel或Redis Cluster。
依赖隔离组件为后端限流并降级
提前演练
热点缓存key重建优化
过期清除策略
被动删除
主动删除
当前已用内存超过maxmemory限定时，触发主动清理策略
淘汰策略
allkeys-lru根据LRU算法删除键，不管数据有没有设置超时属性，直到腾出足够空间 为止
allkeys-random：随机删除所有键，直到腾出足够空间为止。
volatile-random: 随机删除过期键，直到腾出足够空间为止
volatile-ttl：根据键值对象的ttl属性，删除最近将要过期数据
noeviction：不会剔除任何数据，拒绝所有写入操作并返回客户端错误信息"(error) OOM command not allowed when used memory"，此时Redis只响应读操作
核心数据结构
字符串String
常用操作
SET key value
MSET key value [key value ...]
对象缓存
SETNX key value 存入一个不存在的字符串键值对
分布式锁的实现
GET key
MGET key [key ...]
DEL key [key ...]
EXPIRE key seconds //设置一个键的过期时间(秒)
原子加减
INCR key
计数器的实现
DECR key
INCRBY key increment
DECRBY key decrement
hash
常用操作
HSET key field value //存储一个哈希表key的键值
HSETNX key field value //存储一个不存在的哈希表key的键值
HMSET key field value [field value ...] //在一个哈希表key中存储多个键值对
对象缓存的实现
HGET key field //获取哈希表key对应的field键值
HMGET key field [field ...] //批量获取哈希表key中多个field键值
HDEL key field [field ...] //删除哈希表key中的field键值
HLEN key//返回哈希表key中field的数量
HGETALL key //返回哈希表key中所有的键值
HINCRBY key field increment //为哈希表key中field键的值加上增量increment
使用场景
对象缓存
电商购物车
优点与缺点
优点
同类数据归类整合储存，方便数据管理
相比string操作消耗内存与cpu更小
相比string储存更节省空间
缺点
过期功能不能使用在field上，只能用在key上
Redis集群架构下不适合大规模使用
列表list
常用操作
LPUSH key value [value ...] //将一个或多个值value插入到key列表的表头(最左边)
RPUSH key value [value ...] //将一个或多个值value插入到key列表的表尾(最右边)
LPOP key //移除并返回key列表的头元素
RPOP key //移除并返回key列表的尾元素
LRANGE key start stop //返回列表key中指定区间内的元素，区间以偏移量start和stop指定
BLPOP key [key ...] timeout //从key列表表头弹出一个元素，若列表中没有元素，阻塞等待 timeout秒,如果timeout=0,一直阻塞等待
BRPOP key [key ...] timeout //从key列表表尾弹出一个元素，若列表中没有元素，阻塞等待 timeout秒,如果timeout=0,一直阻塞等待
应用场景
常用数据结构
Stack(栈) = LPUSH + LPOP FILO
Queue(队列）= LPUSH + RPOP
Blocking MQ(阻塞队列）= LPUSH + BRPOP
消息流
集合set
常用操作
SADD key member [member ...] //往集合key中存入元素，元素存在则忽略， 若key不存在则新建
SREM key member [member ...] //从集合key中删除元素
SMEMBERS key //获取集合key中所有元素
SCARD key //获取集合key的元素个数
SISMEMBER key member //判断member元素是否存在于集合key中
SRANDMEMBER key [count] //从集合key中选出count个元素，元素不从key中删除
SPOP key [count] //从集合key中选出count个元素，元素从key中删除
运算操作
SINTER key [key ...] //交集运算
SINTERSTORE destination key [key ..] //将交集结果存入新集合destination中
SUNION key [key ..] //并集运算
SUNIONSTORE destination key [key ...] //将并集结果存入新集合destination中
SDIFF key [key ...] //差集运算
SDIFFSTORE destination key [key ...] //将差集结果存入新集合destination中
应用场景
抽奖
微信微博点赞，收藏，标签
关注模型
电商商品筛选
有序集合zset
常用操作
ZADD key score member [[score member]…] //往有序集合key中加入带分值元素
ZREM key member [member …] //从有序集合key中删除元素
ZSCORE key member //返回有序集合key中元素member的分值
ZINCRBY key increment member //为有序集合key中元素member的分值加上increment
ZCARD key //返回有序集合key中元素个数
ZRANGE key start stop [WITHSCORES] //正序获取有序集合key从start下标到stop下标的元素
ZREVRANGE key start stop [WITHSCORES] //倒序获取有序集合key从start下标到stop下标的元素
集合操作
ZUNIONSTORE destkey numkeys key [key ...] //并集计算
ZINTERSTORE destkey numkeys key [key …] //交集计算
应用场景
实现排行榜
核心原理
单线程为什么还能这么快？
单线程如何处理那么多的并发客户端连接？
高级命令
keys：全量遍历键
scan：渐进式遍历键
Info：查看redis服务运行信息
Redis持久化
RDB快照（snapshot）
客户端执行命令save或bgsave可以生成dump.rdb文件，save是同步命令，bgsave是异步命令
AOF（append-only file）
appendonly yes
AOF重写
Redis 4.0 混合持久化
aof-use-rdb-preamble yes
管道（Pipeline）
管道不是原子的，不过 redis的批量操作命令(类似mset)是原子的
管道不会阻塞redis
Redis Lua脚本
减少网络开销
原子操作
替代redis的事务功能
不要在Lua脚本中出现死循环和耗时的运算，否则redis会阻塞，将不接受其他的命令， 所以使用 时要注意不能出现死循环、耗时的运算。redis是单进程、单线程执行脚本。
主从架构
Redis Cluster 将所有数据划分为 16384 个 slots(槽位)，每个节点负责其中一部分槽位。槽位的信息存储于每个节点 中
槽位定位算法
跳转重定位
通信机制
redis cluster节点间采取gossip协议进行通信
集中式
gossip
Redis集群选举原理分析
Redis集群为什么至少需要三个master节点，并且推荐节点数为奇数？
0 条评论
下一页
