Redis的命令实现原理几乎是每个候选人都会被追问的考点。无论是"GET/SET命令底层如何操作内存",还是"为什么单线程还能支撑高并发",这些问题背后都藏着Redis设计的核心智慧。今天这篇文章,我会结合自己五年开发中踩过的坑和源码阅读经验,带你从网络接收到存储落盘,完整拆解一条Redis命令的执行全流程。
要理解命令执行,首先得明确Redis的整体架构。它采用网络层→核心逻辑层→存储层的三层设计(如图1所示)。我们日常执行的SET key value
、HGETALL hash
等命令,本质上是从网络层进入,经过核心逻辑处理,最终操作存储结构的过程。
Redis的网络层使用epoll
(Linux)或kqueue
(macOS)实现IO多路复用。简单来说,主线程会监听一个端口(默认6379),当客户端发起连接或发送命令时,IO多路复用器会通知主线程"有事件需要处理"。
举个真实场景:当你在Java代码中调用jedis.set("name", "张三")
,客户端会将命令封装成TCP报文发送到Redis服务器。此时,Redis的aeMain
函数(事件循环核心)会被触发,通过accept
建立新连接,并将这个连接的读事件注册到epoll中。
当客户端发送*3\r\n$3\r\nSET\r\n$4\r\nname\r\n$6\r\n张三三\r\n
这样的RESP协议数据时,Redis主线程会从socket缓冲区读取数据,交给processInputBuffer
函数解析。
这里有个关键细节:Redis会先校验协议的完整性(比如\r\n
分隔符是否正确),如果解析失败会直接返回-ERR protocol error
。我之前遇到过一个线上问题,就是客户端错误地拼接了命令(比如漏掉了$
符号),导致大量连接被拒绝,排查了半天才发现是SDK的bug。
解析完协议,得到类似["SET", "name", "张三三"]
的参数列表后,Redis会去全局的redisCommandTable
(一个哈希表)中查找对应的命令处理器。比如SET
对应setCommand
函数,GET
对应getCommand
函数。
这里有个冷知识:redisCommandTable
中的命令是按字母顺序排序的,这是为了优化哈希查找效率。如果你用COMMAND LIST
命令查看所有命令,会发现它们是按字母序排列的——这可不是巧合。
找到命令处理器后,Redis会先进行权限检查(比如requirepass
配置的密码,或者ACL角色权限)。如果是AUTH
命令本身,会跳过这一步;如果是FLUSHALL
这种危险命令,还会检查是否有disable-command
配置(比如某些云厂商会禁用KEYS *
防止阻塞)。
我之前在某金融项目中,就遇到过因为未配置ACL,导致测试环境误执行FLUSHDB
清空数据的惨痛教训。所以生产环境一定要限制危险命令,或者通过rename-command
重命名。
对于某些特殊命令,Redis会在执行前做额外处理。比如:
MULTI
命令会开启事务模式,将后续命令缓存在client->mstate
队列中;EVAL
脚本命令会编译Lua脚本到luaState
,并记录脚本的SHA1值用于缓存;SUBSCRIBE
)会创建客户端订阅的频道链表。Redis的每个key都对应一个redisObject
结构体,其中type
字段表示数据类型(如OBJ_STRING
、OBJ_HASH
),encoding
字段表示底层存储结构(如OBJ_ENCODING_RAW
、OBJ_ENCODING_HT
)。
以最常用的SET
命令为例,它的执行流程如下:
NX
参数为真,直接返回nil
;zmalloc_size
函数估算内存,如果超过maxmemory
且策略是noeviction
,返回-OOM
;redisObject
:如果是新key,分配新的redisObject
;如果是旧key,替换其ptr
指针;stringTypeSet
函数:根据value类型(字符串/整数)选择存储结构,普通字符串用SDS
(简单动态字符串),整数值直接存long long
。这里重点说下SDS
(Simple Dynamic String),它是Redis对C字符串的封装。相比C字符串,SDS有以下优势:
len
字段直接读取,无需遍历\0
;realloc
(通过free
字段记录可释放空间)。不同命令对应的数据结构差异很大,举几个典型例子:
命令类型 | 数据类型 | 底层结构 | 关键特性 |
---|---|---|---|
HSET |
哈希 | 压缩列表(小数据)/哈希表 | 压缩列表节省内存,哈希表支持O(1)查询;当field数量>512或value>64字节时切换 |
LPUSH |
列表 | 快速列表(quicklist) | 由多个ziplist组成的双向链表,平衡内存和性能 |
SADD |
集合 | 整数集合(小整数)/哈希表 | 整数集合按升序存储,元素唯一;当元素超过512或非整数时切换为哈希表 |
ZADD |
有序集合 | 跳表+哈希表 | 跳表按score排序,哈希表记录score到member的映射,O(logN)插入和查询 |
以HSET user:1 name "张三" age 20
为例,假设user:1
是新key且数据量小,会使用压缩列表存储。压缩列表的节点按
格式存储,name
和age
会依次存入,直到达到配置的list-max-ziplist-entries
(默认512)或list-max-ziplist-value
(默认64字节)时,才会升级为哈希表。
命令执行过程中,持久化模块(RDB/AOF)会"悄悄"工作:
bgsave
,子进程会fork当前进程,遍历内存中的所有key(通过rdbSaveObject
函数),将SDS、跳表等结构序列化为二进制格式;appendonly yes
,每个写命令(除了SELECT
、MULTI
等非写命令)会被追加到AOF缓冲区,通过fsync
策略(默认everysec
)刷盘。这里要注意:BGREWRITEAOF
命令会触发AOF重写,它会分析当前内存数据,生成更紧凑的AOF文件,减少冗余命令(比如多次INCR
会被优化为SET key N
)。
命令执行完成后,结果会被封装成RESP协议格式返回给客户端。RESP(Redis Serialization Protocol)是Redis自研的二进制安全协议,特点是解析简单、体积小。
以SET name 张三
的返回为例,成功时会返回+OK\r\n
;如果key已存在且未指定NX
,会返回+OK\r\n
(因为SET
默认覆盖);如果是GET name
,会返回$6\r\n张三三\r\n
(\r\n
是分隔符,$6
表示value长度)。
对于复杂结构,比如HGETALL user:1
,返回格式会是
*2\r\n
$4\r\nname\r\n
$6\r\n张三三\r\n
*2\r\n
$3\r\nage\r\n
$2\r\n20\r\n
其中*2
表示有2个field-value对,每个field/value前用$+长度
标识。
核心原因有三:
但要注意:Redis 6.0引入了多线程IO(io-threads
配置),只是将网络IO的读写操作放到子线程,核心命令执行仍在主线程。这是为了利用多核CPU处理网络瓶颈,而不是计算密集型任务。
KEYS *
为什么危险?KEYS
命令会遍历整个哈希表(时间复杂度O(N)),当数据量很大时(比如1000万key),会导致主线程阻塞,所有其他命令无法执行。生产环境中应该用SCAN
命令替代,它通过分批迭代(每次返回16个key)降低阻塞时间。
我之前遇到过一个案例:运维同学误在凌晨执行KEYS *
,导致Redis阻塞30秒,所有支付请求超时。后来我们通过rename-command KEYS ""
禁用了这个命令,并在监控中添加了对KEYS
命令的告警。
Redis的慢日志记录了执行时间超过slowlog-log-slower-than
(默认10ms)的命令。通过SLOWLOG GET
命令可以查看最近的慢命令,结合SLOWLOG LEN
和SLOWLOG RESET
管理日志。
比如,我们曾发现某个业务频繁执行LRANGE list 0 -1
(获取整个列表),而列表长度超过10万,导致每次操作耗时几百毫秒。后来优化为分页查询(LRANGE list start end
),并添加了缓存层,性能提升了10倍。
一条Redis命令的执行,本质上是:
网络IO → 协议解析 → 命令查找 → 权限校验 → 数据结构操作 → 持久化同步 → 结果返回
理解这个流程后,你不仅能轻松应对面试,还能在实际开发中:
SLOWLOG
和INFO stats
的instantaneous_ops_per_sec
);DEBUG OBJECT key
查看SDS的alloc
和len
差异);最后送大家一句话:Redis的强大不仅在于命令丰富,更在于它对底层细节的极致优化。掌握这些原理,你就能从"会用Redis"升级为"精通Redis"。
(全文完)