Redis大Key问题
- 作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家
- 系列专栏：Spring源码、JUC源码、Kafka原理、分布式技术原理、数据库技术
- 如果感觉博主的文章还不错的话，请三连支持一下博主哦
- 博主正在努力完成2023计划中：源码溯源，一探究竟
- 联系方式：nhs19990716，加我进群，大家一起学习，一起进步，一起对抗互联网寒冬
文章目录
- BigKey
-
- 相关面试题
- MoreKey案例
-
- 大批量往Redis中插入测试数据
-
- Linux Bash下面执行，插入100W
- 通过Redis提供的管道-pipe命令插入100W大批量数据
- 某快递巨头真实生产案例新闻
-
- key * 试试100W花费多少秒遍历查询
- 生产上限制 keys */flushdb/flushall 等危险命令以上肢误删误用
- 不用keys * 避免卡顿，那该用什么呢？
-
- scan 命令登场
- Scan命令用于迭代数据库中的数据库键
-
- 语法
- 特点
- 使用
- BigKey案例
-
- 多大算Big
- 危害
- 如何产生
- 如何发现
-
- redis-cli --bigkeys
- MESORY USAGE键
- 如何删除
-
- 命令
-
- String
- hash
- list
- set
- Zset
- BigKey生产调优
BigKey
相关面试题
阿里广告平台，海量数据里查询某一固定前缀的key
小红书，你如何生产上限制 key *等危险命令以防止误用？
美团，MEMORY USAGE 命令用过吗？
BigKey问题，多大算big？如何发现？如何删除？如何处理？
BigKey做过调优吗？惰性释放lazyfree了解吗？
MoreKey问题，生产上Redis数据库有1000W数据，你如何遍历？key * 可以吗？
MoreKey案例
大批量往Redis中插入测试数据
Linux Bash下面执行，插入100W
# 生成100W条redis批量设置kv的语句(key=kn,value=vn)写入到/tmp目录下的redisTest.txt文件中
for((i=1;i<=100*10000;i++)); do echo “set k i v i v ivi” >> /tmp/redisTest.txt ;done;
通过Redis提供的管道-pipe命令插入100W大批量数据
结合自己机器的地址：
cat /tmp/redisTest.txt | /opt/redis-7.0.0/src/redis-cli -h 127.0.0.1 -p 6379 -a 111111 --pipe
参考机器硬件，100w数据插入redis花费5.8秒左右
某快递巨头真实生产案例新闻
key * 试试100W花费多少秒遍历查询
key * 这个指令有致命的弊端，在实际环境中最好不要使用
生产上限制 keys */flushdb/flushall 等危险命令以上肢误删误用
通过配置设置禁用这些命令，redis.conf 在SECURITY 这一项中
不用keys * 避免卡顿，那该用什么呢？
scan 命令登场
一句话，类似mysql limit 但是又不完全相同
Redis SCAN 命令及其相关命令 SSCAN、HSCAN、 ZSCAN 命令都是用于增量遍历集合中的元素。
- SCAN 用于遍历当前数据库中的键。
- SSCAN 用于遍历集合键中的元素。
- HSCAN 用于遍历哈希键中的键值对。
- ZSCAN 用于遍历有序集合中的元素（包括元素成员和元素分值）。
Scan命令用于迭代数据库中的数据库键
语法
特点
SCAN 命令是一个基于游标的迭代器，每次被调用之后， 都会向用户返回一个新的游标， 用户在下次迭代时需要使用这个新游标作为 SCAN 命令的游标参数， 以此来延续之前的迭代过程。
SCAN 返回一个包含两个元素的数组，
第一个元素是用于进行下一次迭代的新游标，
第二个元素则是一个数组， 这个数组中包含了所有被迭代的元素。如果新游标返回零表示迭代已结束。
SCAN的遍历顺序
非常特别，它不是从第一维数组的第零位一直遍历到末尾，而是采用了高位进位加法来遍历。之所以使用这样特殊的方式进行遍历，是考虑到字典的扩容和缩容时避免槽位的遍历重复和遗漏。
使用
BigKey案例
多大算Big
参考阿里云Redis开发规范
String是Value，最大512MB，但是>=10KB就是bigkey
list、hash、set、zset，个数超过5000就是bigkey
- list：一个列表最多可以包含2^32-1个元素
- hash:Redis中每个hash可以存储2^32-1个键值对
- set：集合中最大的成员数为2^32-1
危害
内存分配不均匀，集群迁移困难
超时删除，大key删除作梗
网络流量阻塞
如何产生
例如：
王心凌粉丝列表，典型案例粉丝逐步递增
某个报表，月日年的积累
如何发现
redis-cli --bigkeys
好处，见最下面总结
给出每种数据结构Top 1 bigkey，同时给出每种数据类型的键值个数+平均大小
不足
想查询大于10kb的所有key，–bigkeys参数就无能为力了，需要用到memory usage来计算每个键值的字节数
redis-cli --bigkeys -a 111111
redis-cli -h 127.0.0.1 -p 6379 -a 111111 --bigkeys
每隔 100 条 scan 指令就会休眠 0.1s，ops 就不会剧烈抬升，但是扫描的时间会变长
redis-cli -h 127.0.0.1 -p 7001 –-bigkeys -i 0.1
MESORY USAGE键
如何删除
命令
String
一般用del，如果过于庞大unlink（Redis的UNLINK操作用于删除指定的键，与DEL操作不同的是，UNLINK操作是非阻塞的，即它会先将键的引用计数减1，如果引用计数降为0，则会在后台异步删除键所占用的内存空间，这样可以避免在删除大量键时造成阻塞。）
hash
使用hscan每次获取少量field-value，再使用hdel删除每个field
list
使用ltrim渐进式逐步删除，知道全部删除完成
set
使用sscan每次获取部分元素，在使用srem命令删除每个元素
Zset
使用zscan每次获取部分元素，再使用ZREMRANGEBYRANK命令删除每个元素
BigKey生产调优
redis.conf配置文件 LAZY FREEING相关说明
阻塞和非阻塞删除命令
