NoSQL---Redis的部署，及服务优化

@[TOC]文章目录)

前言

• Redis与memcache一样，都是非关系型数据库
• Redis和memcache一样都是内存/缓存数据库，以K-V（key-value—）键值对形式存在，变量名-值，数据也是保存在内存中，但会定期将数据写入磁盘中
• Redis和memcache一样都是存储高热数据库
• Redis优点：
  • 支持内存缓存，有极高的数据读写速度
  • 支持持久化保存，可以存储对象
  • 数据类型更多
  • 支持集群、分布式
  • 支持队列
  • 支持数据备份
  • 原子性

一：环境介绍

• VMware软件
• 一台centos7虚拟机用来部署redis，IP地址：192.168.79.133

二：部署Redis

2.1：安装环境组件编译器，编译安装reids

[root@redis ~]# yum install gcc gcc-c++ make -y
[root@redis ~]# mount.cifs //192.168.23.1/ccc /mnt
Password for root@//192.168.23.1/ccc:  
[root@redis ~]# cd /mnt/redis/
[root@redis redis]# tar zxvf redis-5.0.7.tar.gz -C /opt	'//redis源码包可以直接到官网下载'
[root@redis redis]# cd /opt/redis-5.0.7/
[root@redis redis-5.0.7]# make	'//直接进行make'
[root@redis redis-5.0.7]#  make PREFIX=/usr/local/redis/ install	'//指定redis目录并安装'
[root@redis redis-5.0.7]# cd /usr/local/redis/
[root@redis redis]# ls
bin
[root@redis redis]# cd bin/
[root@redis bin]# ls
redis-benchmark  redis-check-aof  redis-check-rdb  redis-cli  redis-sentinel  redis-server	'//redis-cli是连接终端'

2.2：执行redis配置文件脚本，并进行配置

[root@redis bin]# cd /opt/redis-5.0.7/utils/	'//回到redis源码包解压目录'
[root@redis utils]# ./install_server.sh 	'//执行脚本进行配置'
Welcome to the redis service installer
This script will help you easily set up a running redis server

Please select the redis port for this instance: [6379] 	'//选择redis默认接口，直接回车'
Selecting default: 6379
Please select the redis config file name [/etc/redis/6379.conf] 	'//选择redis默认配置文件名称，直接回车'
Selected default - /etc/redis/6379.conf
Please select the redis log file name [/var/log/redis_6379.log] 	'//选择默认redis日志文件名称，直接回车'
Selected default - /var/log/redis_6379.log
Please select the data directory for this instance [/var/lib/redis/6379] 	'//选择默认接口的默认数据文件，直接回车'
Selected default - /var/lib/redis/6379
Please select the redis executable path [] /usr/local/redis/bin/redis-server	'//选择redis可执行文件路径，需要手动输入此路径：/usr/local/redis/bin/redis-server'
Selected config:	'//选择的配置清单展示'
Port           : 6379
Config file    : /etc/redis/6379.conf
Log file       : /var/log/redis_6379.log
Data dir       : /var/lib/redis/6379
Executable     : /usr/local/redis/bin/redis-server
Cli Executable : /usr/local/redis/bin/redis-cli
Is this ok? Then press ENTER to go on or Ctrl-C to abort.	'//直接回车完成配置'
Copied /tmp/6379.conf => /etc/init.d/redis_6379
Installing service...
Successfully added to chkconfig!
Successfully added to runlevels 345!
Starting Redis server...
Installation successful!

2.3：优化一些redis配置

[root@redis utils]# ln -s /usr/local/redis/bin/* /usr/local/bin	'//将redis命令创建软连接，便于系统识别'
[root@redis utils]# netstat -ntap |grep 6379
tcp        0      0 127.0.0.1:6379          0.0.0.0:*               LISTEN      26085/redis-server  
[root@redis utils]# /etc/init.d/redis_6379 stop	'//先关闭redis服务'
Stopping ...
Redis stopped
[root@redis utils]# /etc/init.d/redis_6379 start	'//开启redis服务'
Starting Redis server...
[root@redis utils]# netstat -ntap |grep 6379	'//再次检查redis开启情况'
tcp        0      0 127.0.0.1:6379          0.0.0.0:*               LISTEN      36566/redis-server  
tcp        0      0 127.0.0.1:6379          127.0.0.1:60648         TIME_WAIT   -  

• 设置监听端口，启动服务

[root@redis utils]# vim /etc/redis/6379.conf 	'//修改配置文件'
bind 127.0.0.1 192.168.79.133	'//添加监听端口'
[root@redis utils]# /etc/init.d/redis_6379 restart	'//重启redis服务'
Stopping ...
Redis stopped
Starting Redis server...
[root@redis utils]# redis-cli -h 192.168.79.133 -p 6379	'//成功登陆'
192.168.79.133:6379> exit	'//退出'
[root@redis utils]# 

三：Redis一些操作

3.1：Redis压测

[root@redis utils]# redis-benchmark -h 192.168.79.133 -p 6379 -c 100 -n 100000	'//压测ip地址192.168.79.133，端口为6379，并发量100，请求量100000个'
...省略内容
'//截取部分典型的结果展示'
====== SET ======	'//写入速度'
  100000 requests completed in 1.32 seconds	'//耗费1.32秒'
  100 parallel clients
  3 bytes payload
  keep alive: 1
====== GET ======	'//读取速度'
  100000 requests completed in 1.02 seconds	'//耗费1.02秒'
  100 parallel clients
  3 bytes payload
  keep alive: 1
...省略内容
'//压测结果想要标准，需要多压测几次，取平均值即可'
[root@redis utils]# redis-benchmark -h 192.168.79.133 -p 6379 -q -d 100	'//压测IP地址为192.168.79.133，端口为6379，-q：强制退出redis，-d：指定字节数量'
'//以字节形式指定set/get值的数据大小，同样仅展示部分结果'
    ...省略内容
SET: 53248.14 requests per second
GET: 46253.47 requests per second
...省略内容

3.2：redis数据库基础操作命令

'//Redis的5种数据结构：string、list、hash、set和zset'
'//可以使用help string/list/hash/set/zset来查询命令帮助，命令可以使用tab键补全'
例如：
[root@redis utils]# redis-cli -h 192.168.79.133 -p 6379
192.168.79.133:6379> help set	'//查看set命令帮助'

  SET key value [expiration EX seconds|PX milliseconds] [NX|XX]	'//set命令的格式'
  summary: Set the string value of a key
  since: 1.0.0
  group: string
192.168.79.133:6379> set username abc	'//创建键（username）值（abc）'
OK
192.168.79.133:6379> set user abc	'//创建键（user）值（abc）'
OK
192.168.79.133:6379> KEYS *		'//查看所有键'
1) "username"
2) "user"
192.168.79.133:6379> keys u???	'//查看u开头且占4个字节的key'
1) "user"
192.168.79.133:6379> get user	'//查看user键的值'
"abc"
192.168.79.133:6379> EXISTS user	'//查看user是否存在'
(integer) 1
192.168.79.133:6379> del user	'//删除user键'
(integer) 1
192.168.79.133:6379> keys *
1) "username"	'//删除成功'
192.168.79.133:6379> rename username uuu	'//将username键重命名为uuu'
OK
192.168.79.133:6379> keys *
1) "uuu"	'//重命名成功'
192.168.79.133:6379> exit

3.3：移动键值对到其他的库中（一共16个库）

[root@redis utils]# redis-cli -h 192.168.79.133 -p 6379	'//连接数据库'
192.168.79.133:6379> keys *	'//默认进入第一个库0'
1) "key:__rand_int__"
2) "myset:__rand_int__"
3) "counter:__rand_int__"
4) "mylist"
5) "uuu"
192.168.79.133:6379> select 11	'//进入第12个库'
OK
192.168.79.133:6379[11]> keys *	'//查看所有键'
(empty list or set)
192.168.79.133:6379[11]> select 0	'//返回第一个库'
OK
192.168.79.133:6379> move uuu 11	'//将uuu键值对移动到第12个库'
(integer) 1
192.168.79.133:6379> select 11	'//进入第12个库'
OK
192.168.79.133:6379[11]> keys *	'//查看所有键'
1) "uuu"
192.168.79.133:6379[11]> get uuu	'//查看键值'
"ab"
192.168.79.133:6379[11]> flushdb	'//清空库'
OK
192.168.79.133:6379[11]> keys *
(empty list or set)
192.168.79.133:6379[11]> exit	'//退出'

四：Redis服务优化

4.1：Redis持久化

• 概述
  • Redis是运行在内存中，内存中的数据断电丢失
  • 为了能后重用Redis数据，或者防止系统故障，我们需要将Redis中的数据写入到磁盘空间中，即持久化
• 持久化分类
  • RDB方式：创建快照的方式获取某一时刻Redis中所有数据的副本
  • AOF方式：将执行的写命令写到文件的末尾，以日志的方式来记录数据的变化

4.1.1：RDB持久化

• 概述

  • 是Redis默认的持久化方式

  • 默认文件名为dump.rdb

[root@redis utils]# cd /var/lib/redis/6379/
[root@redis 6379]# ls
dump.rdb

• 触发条件

  • 在指定的时间间隔内，执行指定次数的写操作（配置文件控制）
  • 执行save或者是bgsave（异步）命令
  • 执行flushall命令，清空数据库所有数据
  • 执行shutdown命令，保证服务器正常关闭且不丢失任何数据

• 优缺点

  • 适合大规模的数据恢复
  • 如果业务对数据完整性和一致性要求不高，RDB是很好的选择
  • 数据的完整性和一致性不高
  • 备份时占用内存

• 通过RDB文件恢复数据

  • 将dump.rdb文件拷贝到redis的安装目录的bin目录下，重启redis服务即可

• 配置RDB持久化

[root@redis 6379]# vim /etc/redis/6379.conf 	'//修改配置文件'
    '//搜索save，找到如下'
save 900 1	'//900秒之内至少一次写操作'
save 300 10	'//300秒内至少10次写操作'
save 60 10000	'//60秒内至少10000次写操作'
'//只要满足其一都会触发快照操作，注释所有的save项表示关闭RDB'
dbfilename dump.rdb	'//RDB文件名称'
dir /var/lib/redis/6379	'//RDB文件路径'
rdbcompression yes	'//开启了压缩功能'

4.1.2：AOF持久化

• 概述

  • Redis默认不开启
  • 弥补RDB的不足（数据的不一致性）
  • 采用日志的形式来记录每个写操作，并追加到文件中
  • Redis重启会根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作

• 根据AOF文件恢复数据

  • 将appendonly.aof文件拷贝到redis安装目录的bin目录下，重启redis服务即可

• 配置AOF持久化

[root@redis 6379]# vim /etc/redis/6379.conf 
appendonly no	'//修改为yes即可开启AOF持久化'
appendfilename "appendonly.aof"	'//AOF文件名称'
# appendfsync always	'//always:同步持久化，每次发生数据变化会立刻写入磁盘'
appendfsync everysec	'//everysec:默认推荐，每秒异步记录次(默认值)'
# appendfsync no	'//no:不同步，交给操作系统决定如何同步'
'//取消注释的时候注意前方空格，一定要删掉'
aof-load-truncated yes	'//忽略最后一条可能存在问题的指令'

4.2：AOF重写机制

• 概述

  • AOF的工作原理是将写操作追加到文件中，文件的冗余内容会越来越多
  • 当AOF文件的大小超过所设定的阀值时，Redis就会对AOF文件的内容压缩

• 原理

  • Redis会fork出一条新进程，读取内存中的数据(并没有读取旧文件)，并重新写到一个临时文件中，最后替换旧的aof文件

• 配置AOF重写

[root@redis 6379]# vim /etc/redis/6379.conf 
no-appendfsync-on-rewrite no	'//在日志进行BGREWRITEAOF时， 如果设置为yes表示新写操作不进行同步fsync,只暂存在缓冲区里，避免造成磁盘I0操作冲突，等重写完成后在写入。redis中默认为no'
auto-aof-rewrite-percentage 100	'//当前AOF文件大小是上次日志重写时AOF文件大小两倍时，发生BGREWRITEAOF操作'
auto-aof-rewrite-min-size 64mb	'//当前AOF文件执行BGREWRITEAOF命令的最小值，避免刚开始启动Reids时由于文件尺寸较小导致频繁的BGREWRITEAOF.当AOF文件到达64M的时候，发生BGREWRITEAOF操作'

4.3：Redis性能管理

'//查看Redis内存使用'
[root@redis 6379]# /usr/local/redis/bin/redis-cli 
127.0.0.1:6379> INFO memory
...省略内容

4.4：什么是内存碎片率？

• 操系统分配的内存值used_ memory _rss除以redis使用的内存值
• used_ _memory计算得出
• 内存碎片是由操作系统低效的分配/回收物理内存导致的
• 不连续的物理内存分配
• 跟踪内存碎片率对理解redis实例的资源性能是非常重要的
• 内存碎片率稍大于1是合理的，这个值表示内存碎片率比较低
• 内存碎片率超过1.5,说明redis消耗了实际需要物理内存的150%，其中50%是内存碎片率
• 内存碎片率低于1的，说明Redis内存分配超出了物理内存,操作系统正在进行内存交换

4.5：什么是内存使用率？

• redis实例的内存使用率超过可用最大内存，操作系统将开始进行
• 内存与swap空间交换
• 避免内存交换
• 针对缓存数据大小选择
• 尽可能的使用Hash数据结构
• 设置key的过期时间

4.6：回收key

• 保证合理分配redis有限的内存资源
• 当内存使用达到设置的最大阀值时，需要选择一种key的回收策略
• 默认情况下回收策略是禁止删除
• redis.conf配置文件中修改maxmemory-policy属性值
  • volatile-lru:使用LRU算法从已设置过期时间的数据集合中淘汰数据
  • volatile-ttl:从已设置过期时间的数据集合中挑选即将过期的数据淘汰（建议使用）
  • volatile-random:从已设置过期时间的数据集合中随机挑选数据淘汰
  • allkeys-lru:使用LRU算法从所有数据集合中淘汰数据
  • allkeys-random:从数据集合中任意选择数据淘汰
  • no-enviction:禁止淘汰数据