百度BDRP 分布式 redis 集群

背景简介
BDRP（baidu distributed redis platform）是包含twemproxy，redis，redis-sentinel 等多个模块开发的分布式 redis 平台。bdrp 已经在 github 上进行了开源，bdrp 的 github 项目点这里
系统架构

bdrp1

目前 redis 集群架构主要有以下几个组件： twemproxy：redis 的代理系统，可以选择多种数据分片算法 redis：集群的 redis 存储节点 sentinel：redis 官方的集群高可用组件，可以监控 redis 主节点故障，并进行主备切换
对比开源版本 twemproxy 解决方案，我们为集群添加了每个 redis 数据分片的主从架构，并且添加了 sentinel 模块，基于这些架构的拓展，我们实现了集群的高可用，数据高可靠的解决方案，集群数据读写请求分离方案。另外，针对线上的复杂应用环境，我们还未 twemproxy 增加了权限管理，流量控制（开发中）两个功能。 下面我们就分别简单介绍下这四个新添加的功能。
功能介绍
1，高可用切换
由于 twemproxy 开源版本对于集群的高可用方案只提供了自动弹出数据分片功能，因此如果应用方如果需要高可用集群的话，需要打开自动弹出功能。但是，即便是对于一致性哈希分片算法，弹出一个分片也是会造成一个分片的数据丢失的。对于数据可靠性的要求比较高的服务来说，如果丢失整个分片的数据是无法接受的。 我们基于 redis 官方的 sentinel 模块，实现了 redis 集群的节点高可用，数据高可靠方案。如上面的架构图所示，redis 集群的所有 redis 分片，都配置了对应的从库，通过 redis 主从传输进行元数据复制。同时，每个 redis 分片都会用 sentinel 进行监控，当分片的主 redis 节点故障时，sentinel 会将该分片的从节点切换成主节点。 twemproxy 和 sentinel 之前维护一个长连接，并订阅 sentinel 的主从切换事件频道。一旦 sentinel 上发生了 redis 的主从切换，twemproxy 马上就能感知到，然后调整自己的分片拓扑图，将后续的请求发送到新的主库上。 twemproxy 在每次和 sentinel 建立连接后，都会从 sentinel 拉取全量的数据分片地址信息，避免启动时的配置错误，或者运行中连接重建，丢失主从切换信息。
2，读写分离

bdrp2

对于数据量不是很大，但是请求量很大的服务来说，数据分片拆分并不是很好的解决方案，产品线通常会给数据分片配置多个只读从库，分担读请求。为了支持这种需求，我们给 twemproxy 增加了读写分离功能。 如上架构图，展示了一个 server pool 下面挂接两个数据分片，每个数据分片挂接两个只读从库的情景下的架构图。通过 redis 主从复制，给每个数据分片配置多个只读从库。Proxy 从配置中加载到分片从库信息后，在每次转发请求时，判断请求的类型，然后根据请求是否修改 redis 元数据，来决定转发到主库或者从库。对于配置了多个从库的情况，我们会对这几个从库进行 round-robin 轮询 同样的，当一个从库发生故障，proxy 会自动剔除这个从库，当全部从库都故障，proxy 会将只读请求发送到主库上。剔除故障从库之后，proxy 会定期对故障从库进行健康检查，如果从库恢复，proxy 会自动将该从库加回读请求轮询列表当中。
3，权限验证白名单
对于线上服务来说，完善的权限管理是必不可少的。但是 twemproxy 并没有提供权限验证相关的功能。我们添加了基于 IP 白名单的权限验证功能。用户可以配置某些 IP 可以拥有的权限（读 / 写），在 client 连接上来之后，proxy 会去判断 client ip 是否在白名单之内，如果在的话，会将对应权限赋予该 client 连接，否则将会强行断掉连接。当连接上的 client 发送命令过来后，会验证该 client 是否有该命令对应的权限（读 / 写），如果没有的话，该连接将会被强行关闭。
4，流量控制
twemproxy 本身支持开启多个 server_pool，后端挂接不同的 redis 数据分片。这样，单个 proxy 实例可以服务多个应用方。但是对于这种多个服务混用 proxy 的情况，twemproxy 并没有对各个应用方做流量控制。这样造成的一个问题是，可能一个应用方的请求异常突增，占用了过多的 proxy 资源，从而影响了其他的应用方的正常服务请求。 针对这种情况，我们决定开发一个基于 proxy 的 server pool 的流控。简单来说就是给每个 server pool 一定的配额，当某个应用方请求异常突增将其配额耗尽后，我们将会拒绝这个应用方的请求，从而避免该异常应用方请求影响到其他应用方。 流控功能还在设计开发当中，因而本次开源版本中并不包括这个功能。
5，其他说明
github 上面的开源方案使用的 redis 版本是 2.6.16，这个版本是没有主从数据增量重传（partial synchronization）功能的，从库宕机需要进行全量重传，造成性能抖动。因此我们 merge 了 2.8 的增量重传代码以规避此问题。
应用范围
bdrp 在百度检索系统，百度商业产品体系，LBS 产品体系等在线业务广泛应用。