Redis性能优化：全网最全的一篇

硬件

CPU

• 选择高性能的多核 CPU：Redis 是单线程处理请求的，性能取决于单个核心的处理能力。选择高主频（3 GHz 以上）的 CPU 能有效提高 Redis 的单实例性能。然而，多个 Redis 实例可以并行运行在不同的 CPU 核心上，因此多核 CPU 仍然有助于提高整体的吞吐量。
• 避免超线程（Hyper-Threading）：在高负载下，超线程技术可能会导致 CPU 争用和缓存冲突，从而影响性能。在 BIOS 中禁用超线程，确保 Redis 实例运行在物理核心上。
  

内存

• 足够的内存容量：Redis 完全在内存中运行，所有数据集、缓存和内存快照都需要消耗内存。建议内存容量至少是数据集大小的 1.5 到 2 倍，确保有足够的内存空间处理数据并预留给操作系统和其他服务。
• 使用 ECC 内存：Redis 是内存密集型应用，ECC（Error-Correcting Code）内存可以检测和修复内存中的单比特错误，提供更高的可靠性和稳定性，特别是在大规模部署中。
  

磁盘

• 使用 NVMe SSD：虽然 Redis 是内存数据库，但持久化操作（如 RDB 快照和 AOF 持久化）需要磁盘 I/O。NVMe SSD 提供了极高的读写性能，能够显著缩短持久化操作的时间，减少 Redis 因持久化导致的阻塞。
• 磁盘 RAID 配置：为了提升 I/O 性能和数据可靠性，建议使用 RAID 0 或 RAID 10 配置磁盘阵列。RAID 0 提供最高的性能，但没有冗余；RAID 10 兼顾性能和数据安全。
  

网络

• 高带宽低延迟网络：Redis 对网络性能要求较高，特别是在主从复制和集群模式下。使用低延迟、高带宽的网络（如 10GbE 或更高），减少网络传输时延，确保数据同步和集群通信的高效性。
• 优化网络配置：调整 TCP 参数（如tcp_nodelay、tcp_keepalive 等）以减少网络延迟和带宽消耗。在 Linux 系统上，可以在 /etc/sysctl.conf 中进行配置，例如：

net.core.somaxconn = 1024
net.ipv4.tcp_max_syn_backlog = 2048

操作系统

操作系统的配置对 Redis 的性能影响显著。通过合理配置操作系统，可以充分发挥硬件性能，提升 Redis 的处理能力。

内存锁定与交换

• 锁定内存：防止 Redis 使用的内存被操作系统交换到磁盘，以免影响性能。在 Redis 配置文件 redis.conf 中启用内存锁定：

maxmemory-policy noeviction

• 禁用交换（swap）：Redis 需要始终在内存中进行操作。设置操作系统的交换分区策略为最低（推荐设置为vm.swappiness = 1），防止 Redis 被交换到磁盘。在 /etc/sysctl.conf 中配置：

vm.swappiness = 1

文件系统和磁盘I/O优化

• 文件系统选择：推荐使用 ext4 或 xfs 文件系统。ext4 是 Linux 默认文件系统，性能稳定；xfs 在处理大文件写入时性能更好，适合 AOF 持久化场景。
• 文件描述符限制：Redis 需要打开大量文件来进行数据操作，增大文件描述符限制能避免 Too many open files 错误。编辑 /etc/security/limits.conf：

* soft nofile 65536
* hard nofile 65536

• 设置 mmap counts：调整 vm.max_map_count 参数以支持更大的内存映射，减少 OOM（Out of Memory）错误：

vm.max_map_count = 262144

在 /etc/sysctl.conf 中设置后运行 sysctl -p 使配置生效。

网络参数调优

• 增加 TCP 参数：调整 TCP 相关参数，减少延迟，优化网络传输性能。例如：

net.ipv4.tcp_fin_timeout = 15
net.ipv4.tcp_keepalive_time = 300

Redis实例调优

Redis 配置优化直接影响 Redis 的性能表现。合理配置 Redis 参数，可以提高读写效率，减少阻塞和瓶颈。

内存管理

• 设置最大内存使用策略：根据应用场景选择合适的内存淘汰策略，如volatile-lru、allkeys-lru、volatile-random、allkeys-random等。一般情况下，使用allkeys-lru可以在内存不足时优先淘汰最近最少使用的键。
• 配置内存碎片整理：定期执行内存碎片整理，减少内存碎片，提高内存利用率。可以使用 MEMORY PURGE 命令主动清理内存碎片。
  

持久化配置

• 合理设置 AOF 和 RDB：Redis 支持两种持久化方式：AOF（Append Only File）和 RDB（Redis Database）。AOF 记录每次写操作，适合需要高数据安全的场景；RDB 快照是定期保存数据的快照文件，适合性能要求高的场景。根据应用场景选择合适的持久化方式，或两者结合使用。
• 优化 AOF 刷盘策略：设置 appendfsync 参数决定 AOF 的刷盘策略：
  • always：每次写操作后都同步刷盘，数据安全性高但性能最差。
  • everysec：每秒刷盘一次，性能与安全性平衡。
  • no：操作系统自行决定刷盘时间，性能最好但数据丢失风险高。
• 减少 RDB 快照频率：如果不需要频繁的持久化，可以减少 RDB 快照的频率，减少磁盘 I/O 操作。可以在 redis.conf 中调整 save 参数，例如：

save 900 1
save 300 10
save 60 10000

网络优化

• 最大化并发连接数：调整 maxclients 参数以支持更多的并发连接数。可以在 redis.conf 中设置：

maxclients 10000

• 优化复制配置：在主从复制场景下，配置 repl-diskless-sync 选项为 yes 可以减少同步过程中的磁盘 I/O 操作，提升复制性能。

Schema设计优化

选择合适的数据类型

• 使用 String 存储简单键值对：String 是 Redis 最简单、最基本的数据类型，适用于存储简单的键值对。对于计数器、缓存等场景，可以使用 INCR、DECR 等命令进行高效的原子操作。
• 使用 Hash 存储对象：当需要存储一个对象的多个字段时，使用 Hash 可以节省内存，提高内存利用率。例如，用户配置或产品信息等场景中，每个对象的多个字段可以使用一个 Hash 存储，减少内存消耗。
• 使用 Set 和 Sorted Set 进行集合操作：如果需要存储不重复的集合数据，可以使用 Set 数据结构；如果需要对集合中的元素进行排序，可以使用 Sorted Set，并通过权重（score）进行排序管理，例如排行榜、评分系统等场景。
• 使用 List 实现队列和栈操作：List 是 Redis 中的双向链表，适用于需要按照插入顺序读取的场景，例如消息队列、任务队列等。可以使用 LPUSH、RPUSH、LPOP、RPOP 等命令实现先进先出（FIFO）或先进后出（LIFO）的队列操作。
  

减少键的大小

• 使用紧凑的键名：键名的大小会影响 Redis 内存占用，建议使用紧凑的键名，同时保持可读性。避免使用冗长的命名，特别是在大规模数据存储时，小键名可以显著减少内存占用。

使用 Hash 数据类型来压缩存储

Redis 的 Hash 适合存储多个字段的对象，当字段较少且值较短时，使用 Hash 可以显著减少内存占用。Redis 会将小型 Hash 以 ziplist（压缩列表）的形式存储，这样可以减少内存占用。

• 优化方法：将多个相关的 String 键值对合并到一个 Hash 中。例如，将用户信息（如姓名、年龄、地址等）存储在一个 Hash 中，而不是使用多个 String 键。
• 配置参数：调整 hash-max-ziplist-entries 和 hash-max-ziplist-value 参数，增大它们的值，确保更多的 Hash 以压缩列表的形式存储。例如：

hash-max-ziplist-entries 512
hash-max-ziplist-value 64

使用压缩列表（ziplists）来存储小的 List 和 Set

对于小型的 List 和 Set，Redis 可以使用 ziplist（压缩列表）和 intset（整数集合）来节省内存。压缩列表是一种更紧凑的存储格式，可以有效减少内存占用。

• 优化方法：确保 List 和 Set 的大小和数据类型符合 ziplist 和 intset 的存储条件，调整相关参数。
• 配置参数：调整 list-max-ziplist-entries 和 list-max-ziplist-value 参数，增大它们的值，使更多的 List 以压缩列表的形式存储。例如：

list-max-ziplist-entries 512
list-max-ziplist-value 64

• 使用 Intset：对于只包含整数值的小型 Set，Redis 会自动使用 intset 结构，可以进一步减少内存占用。调整 set-max-intset-entries 参数，确保更多的 Set 使用整数集合存储。

使用更紧凑的编码格式

使用 Sorted Set 的压缩格式：对于小型的 Sorted Set，可以使用 ziplist 来存储，减少内存占用。调整 zset-max-ziplist-entries 和 zset-max-ziplist-value 参数。例如：

zset-max-ziplist-entries 128
zset-max-ziplist-value 64

数据分片与集群优化

• 使用 Redis 集群分片数据：在数据量超过单个 Redis 实例的内存限制时，可以使用 Redis 集群将数据分布到多个实例中。集群模式下，Redis 将数据按照哈希槽（Hash Slot）进行分片存储，每个分片对应一个或多个节点。根据数据访问模式和业务需求，合理规划分片数量，确保负载均衡和高可用性。
  

避免大键值对（Big Keys）

• 避免大键值对：在 Redis 中存储大键值对会影响操作的性能。尽量将大对象分割成多个小对象存储，避免对大键进行操作。例如，将一个包含大量数据的 Hash 拆分为多个小的 Hash 或将大 List 拆分为多个小的 List。

减少内存占用

毕竟是内存，金贵

上面的数据结构优化

数据压缩

• 使用更紧凑的字符串编码： Redis 会自动选择适当的字符串编码方式（raw 或 int 编码）。如果某些字符串可以转换为整数，Redis 会使用更紧凑的 int 编码来存储它们。例如，字符串 "12345" 可以转换为整数 12345，Redis 会选择整数编码，减少内存使用

• 使用 LZF 压缩 AOF 文件： 如果启用了 AOF（Append Only File）持久化，可以选择使用 LZF 压缩 AOF 文件，减少磁盘和内存的使用。

  在 redis.conf 中启用 AOF 压缩：

aof-use-rdb-preamble yes

• 自定义数据压缩： 对于存储在 Redis 中的特定数据类型，可以考虑在应用层进行压缩，例如使用 gzip 或 snappy 等压缩算法。压缩后的数据可以存储为二进制格式（如字符串），这样可以在保持数据不变的情况下显著减少内存占用。在写入数据之前对数据进行压缩，读取数据时进行解压缩。

减少内存碎片

• 优化内存分配： Redis 内部使用 jemalloc 作为内存分配器，可以通过定期优化和整理内存分配来减少内存碎片

  执行内存碎片整理：使用 MEMORY PURGE 命令主动清理未使用的内存，减少内存碎片。例如：

MEMORY PURGE

• 调整 jemalloc 配置： 根据 Redis 的内存使用模式和工作负载，调整 jemalloc 的配置参数，优化内存分配策略，减少内存碎片。例如，可以调整 jemalloc 的垃圾回收频率、碎片合并策略等参数。

减少过期键的内存占用

• 使用过期策略清理无用数据： 对于某些业务场景，可能会有大量过期的键占用内存。通过设置键的过期时间，可以自动清理无用的数据，释放内存。设置合理的过期时间：使用 EXPIRE 命令为键设置合理的过期时间，定期清理无用数据，释放内存。
• 使用 TTL 和 Keyspace Notifications： 通过 Redis 的 TTL 命令和 Keyspace Notifications，可以监控键的过期情况，及时清理和回收内存。
  

精简数据存储

● 合并重复的数据：对于存储结构相似或内容重复的数据，可以考虑使用更高效的存储方式来减少内存占用。例如，使用共享字符串（String Interning）或引用计数技术，避免冗余数据存储
● 使用 HyperLogLog 和 Bitmap：对于某些数据统计场景，可以使用 HyperLogLog 和 Bitmap 数据结构来替代传统的 Set 或 List 存储方式。这些数据结构具有更低的内存占用，可以在一定范围内提高数据存储的紧凑性。
○ HyperLogLog：适用于大规模去重计数的场景，例如 UV 统计。它使用概率算法，在牺牲部分精度的情况下，可以大幅减少内存使用。
○ Bitmap：适用于布尔值存储和二进制数据处理，例如位图索引、状态标记等场景

写入优化

写入性能是 Redis 性能优化的一个重要方面。通过优化写入策略，可以显著提高 Redis 的吞吐量和响应时间。

批量写入

• 使用 Pipeline 批量写入：Pipeline 可以将多个命令批量发送给 Redis，减少网络往返时间，提升写入效率。在高并发写入场景下，使用 Pipeline 可以显著提高吞吐量。
  

异步写入

• 使用异步写入模式：在一些非关键场景（如日志记录、数据采集等），可以使用异步写入模式，避免同步写入导致的阻塞和延迟。可以通过异步任务或多线程来实现异步写入，提高系统的响应速度和吞吐量。
  

减少写操作

• 优化数据更新频率：尽量减少频繁的写操作，将多次更新合并为一次操作。例如，对于计数器或累加操作，可以使用批量累加的方式，避免频繁的原子操作，减少 Redis 的处理开销。

查询优化

优化查询性能是 Redis 性能优化的另一个关键环节。通过合理的查询策略和命令选择，可以显著提高 Redis 的查询效率。

使用命令的批量处理

• 使用批量处理命令：对于需要处理大量数据的操作，使用批量处理命令（如MGET、MSET等），减少网络往返次数，提高查询性能。
  

合理使用缓存

• 设置合理的过期时间：根据业务需求设置缓存的过期时间，避免频繁的缓存失效和重建，影响查询性能。可以使用 EXPIRE、TTL 等命令设置和查询键的过期时间。
  

优化数据结构查询

• 选择合适的数据结构：根据查询需求选择合适的数据结构和命令，避免使用复杂度高的命令（如SORT、ZRANGE等），减少CPU和内存开销。例如，使用HASH存储对象属性而不是用STRING存储 JSON 文本。
  

减少内存碎片

• 定期执行内存整理：使用MEMORY PURGE命令释放空闲内存，减少内存碎片，提高查询性能。可以使用 Redis 的 INFO 命令监控内存使用情况和碎片率，定期进行优化

监控与调优

性能监控

• 使用监控工具：使用 Redis 提供的监控工具（如redis-cli、INFO命令、SLOWLOG等）监控 Redis 的性能和健康状态。也可以集成第三方监控工具（如 Prometheus、Grafana）进行更全面的监控。
  

参数调优

• 根据负载调整参数：根据 Redis 的负载情况和业务需求，动态调整 Redis 的参数配置，如内存分配策略、线程池大小、命令超时等。合理设置maxmemory、maxclients、timeout等参数，优化系统性能。
  

慢查询优化

• 分析和优化慢查询：使用SLOWLOG记录慢查询日志，分析和优化慢查询，减少查询延迟，提高查询性能。可以设置合理的慢查询阈值，监控和优化查询性能瓶颈。
  

集群调优

• 调整分片和副本数：根据查询模式和集群规模调整索引的分片和副本数量，以达到最佳查询性能。在集群模式下，合理规划节点和分片布局，确保数据负载均衡和高可用性。

大家在redis实例优化和schema设计优化有什么想法，欢迎评论