斗魂_2e5d
斗魂_2e5d

redis

redis重要特性

1.速度快
Redis 所有的数据都存放在内存中
Redis 使用c语言实现
Redis 使用单线程架构

2.基于键值对的数据结构服务器
5种数据结构:字符串,哈希,列表,集合,有序集合

3.丰富的功能
提供了键过期功能,可以实现缓存
提供了发布订阅功能,可以实现消息系统
提供了pipeline功能,客户端可以将一批命令一次性传到 Redis,减少了网络开销

4.简单稳定
源码很少,3.0 版本以后 5 万行左右.
使用单线程模型法,是的Redis服务端处理模型变得简单.
不依赖操作系统的中的类库

5.客户端语言多
java,PHP,python,C,C++,Nodejs等

6.数据持久化
把所有的数据都存在内存中
RDB和AOF

7.主从复制
8.高可用和分布式
哨兵 redis-sentinel
集群 redis-cluster

redis应用场景

1.缓存-键过期时间
缓存session会话
缓存用户信息,找不到再去mysql查,查到然后回写到redis
优惠卷过期时间

2.排行榜-列表&有序集合
热度排名排行榜
发布时间排行榜

3.计数器应用-天然支持计数器
帖子浏览数
视频播放次数
商品浏览数

4.社交网络-集合
踩/赞,粉丝,共同好友/喜好,推送,打标签

5.消息队列系统-发布订阅
配合elk实现日志收集

redis安装部署

1.目录规划
/data/soft/ #redis下载目录
/opt/redis_{PORT}/{conf,logs,pid} #redis安装目录
/data/redis_{PORT}/redis_{PORT}.rdb #redis数据目录
/root/scripts/redis_shell.sh #redis运维脚本

2.安装命令

编辑hosts文件

[root@db01 ~]# tail -3 /etc/hosts
10.0.0.51 db01
10.0.0.52 db02
10.0.0.53 db03

yum install gcc -y
make distclean && make
mkdir -p /data/soft
mkdir -p /data/redis_6379
mkdir -p /opt/redis_6379/{conf,pid,logs}
cd /data/soft/
wget http://download.redis.io/releases/redis-3.2.9.tar.gz
tar zxf redis-3.2.9.tar.gz -C /opt/
ln -s /opt/redis-3.2.9/ /opt/redis
cd /opt/redis
make && make install

3.配置文件
cat >/opt/redis_6379/conf/redis_6379.conf <

以守护进程模式启动

daemonize yes

绑定的主机地址

bind 10.0.0.51

监听端口

port 6379

pid文件和log文件的保存地址

pidfile /opt/redis_6379/pid/redis_6379.pid
logfile /opt/redis_6379/logs/redis_6379.log

设置数据库的数量，默认数据库为0

databases 16

指定本地持久化文件的文件名,默认是dump.rdb

dbfilename redis_6379.rdb

本地数据库的目录

dir /data/redis_6379
EOF

4.启动redis
redis-server /opt/redis_6379/conf/redis_6379.conf

5.检查是否启动
ps -ef|grep redis
netstat -lntup|grep redis

6.进入redis
redis-cli

redis全局命令操作命令

0.写入key
set k1 v1
set k2 v2
set k3 v3

1.查看所有的key!线上禁止使用!
keys *

2.查看有多少个key,注意,是估值
DBSIZE

3.查看是否存在这个KEY
EXISTS k1
EXISTS k1 k2 k3

状态码:
0 表示这个key不存在
1 表示这个key存在
N 表示有的N个key存在

4.删除key
DEL k1
DEL k1 k2 k3

状态码:
0 表示这个key不存在
1 表示这个key存在,并且删除成功
N 表示有的N个key存在,并且删除N个Key

5.键过期
设置过期时间
EXPIRE k1 100

取消过期时间
PERSIST k1

状态码:
0: 表示这个key不存在
1: 表示这个key存在,并且设置过期时间成功

查看key是否过期
TTL k1

状态码:
-1 :这个key存在,并且永不过期
-2 :这个key不存在
N :这个key存在,并且在N秒后过期

过期后的key直接会被删除

字符串操作:

1.设置一个key
set k1 v1

2.查看一个key
get k1

3.设置多个key
MSET k1 v1 k2 v2 k3 v3

4.查看多个key
MGET k1 k2 k3

5.天然计数器
加1:
set k1 1
INCR k1
get k1

加N:
INCRBY k1 100

减1:
INCRBY k1 -1

减N:
INCRBY k1 -N

列表:

插入列表:
LPUSH:从列表左侧插入数据
RPUSH:从列表右侧插入数据

LPUSH list1 1
LPUSH list1 2
LPUSH list1 3
RPUSH list1 4
RPUSH list1 5
RPUSH list1 6

查看列表的长度:
LLEN list1

查看列表的内容:
127.0.0.1:6379> LRANGE list1 0 -1

  1. "3"
  2. "2"
  3. "1"
  4. "4"
  5. "5"
  6. "6"

删除列表元素:
LPOP: 从列表左侧删除
RPOP: 从列表右侧删除

LPOP list1
RPOP list1

删除列表内容:
DEL list1

哈希:

Hash看起来就像一个’hash’的样子.由键值对组成
HMSET指令设置hash中的多个域
HGET取回单个域
HMGET取回一系列的值

生成一个hash类型:
HMSET user:1 name xiaozhang job it age 28
HMSET user:2 name abc job it age 28
HMSET user:3 name def job it age 28

查看hash里的一个值
HMGET user:1 name

查看hash里的多个值
HMGET user:1 name age job

查看hash里的所有的值
HGETALL user:1

mysql数据和redis哈希对比:
user表

uid name job age
1 xiaozhang it 28
2 xiaoya it 28
3 yazhang it 28

mysql查询数据
select * from user where id = 3

redis缓存mysql数据
名字 key1 k1值 key2 k2的值 key3 k3的值
uid:1 name xiaozahng job it age 28
uid:2 name xiaoya job it age 28
uid:3 name yazahng job it age 28

集合

创建集合
db01:6379> SADD set1 1 2 3
(integer) 3
db01:6379> SADD set2 1 3 5 7
(integer) 4

查看集合的成员:
db01:6379> SMEMBERS set1

  1. "1"
  2. "2"
  3. "3"
    db01:6379> SMEMBERS set2
  4. "1"
  5. "3"
  6. "5"
  7. "7"

查看集合的差集,以前面一个集合为基准对比后面的，前面有，后面没有则选出来
db01:6379> SDIFF set1 set2

  1. "2"
    db01:6379> SDIFF set2 set1
  2. "7"

查看集合的交集
db01:6379> SINTER set1 set2

  1. "1"
  2. "3"
  3. "5"

查看集合的并集
db01:6379> SUNION set1 set2

  1. "1"
  2. "2"
  3. "3"
  4. "5"
  5. "7"
    db01:6379> SUNION set1 set2 set3
  6. "1"
  7. "2"
  8. "3"
  9. "5"
  10. "7"
  11. "9"

集合不允许出现重复的值

Redis持久化

1.RDB和AOF优缺点
RDB: 快照,把当前内存里的状态快照到磁盘上
优点: 恢复速度快
缺点: 可能会丢失数据

AOF: 类似于mysql的binlog,重写,1秒写一次
优点: 安全,有可能会丢失1秒的数据
缺点: 文件比较大,恢复速度慢

2.配置RDB
save 900 1
save 300 10
save 60 10000
dir /data/redis_6379/
dbfilename redis_6379.rdb

结论:
1.执行shutdown的时候,内部会自动执行bgsave,然后再执行shutdown
2.pkill kill killall 都类似于执行shutdown命令.会触发bgsave持久化
3.恢复的时候,rdb文件名称要和配置文件里写的一样
4.如果没有配置save参数,执行shutdown不会自动bgsave持久化
5.如果没有配置save参数,可以手动执行bgsave触发持久化保存

常用命令:
ll /data/redis_6379/
cat /opt/redis_6379/conf/redis_6379.conf
vim /opt/redis_6379/conf/redis_6379.conf
pkill redis
redis-server /opt/redis_cluster/redis_6379/conf/redis_6379.conf
redis-cli -h db01
redis-cli -h db01 shutdown
bash for.sh

3.配置AOF
appendfilename "redis_6379.aof"
appendonly yes
appendfsync everysec

实验:
如果aof和rdb文件同时存在,redis会如何读取:

实验步骤:
1.插入一条数据
aof: 有记录
rdb: 没有记录
2.复制到其他地方
3.把redis停掉
4.清空数据目录
5.把数据文件拷贝过来
aof: 有记录
rdb: 没有记录
6.启动redis
7.测试,如果有新插入的数据,就表示读取的是aof,如果没有,就表示读取的是rdb

实验结论:
如果2种数据格式都存在,优先读取aof

Redis用户认证

1.配置文件
requirepass 123456

2.使用密码登录
两种方式:
第一种:
redis-cli -h db01
AUTH 123456

第二种:
redis-cli -h db01 -a 123456 get k_1

主从复制命令:

方法1:临时生效
SLAVEOF 10.0.0.51 6379

方法2:写入配置文件
SLAVEOF 10.0.0.51 6379

取消同步命令:
SLAVEOF no one

主从复制流程:
从库发起同步请求
11:55:12.686 * Connecting to MASTER 10.0.0.51:6379
11:55:12.687 * MASTER <-> SLAVE sync started
11:55:12.687 * Non blocking connect for SYNC fired the event.
11:55:12.687 * Master replied to PING, replication can continue...
11:55:12.688 * Partial resynchronization not possible (no cached master)
11:55:12.690 * Full resync from master: c63b80909e49adfa3880dcc87ccffb89d148a564:436

主库接收请求
11:55:12.694 * Slave 10.0.0.52:6379 asks for synchronization
11:55:12.694 * Full resync requested by slave 10.0.0.52:6379

主库开始BGSAVE
11:55:12.694 * Starting BGSAVE for SYNC with target: disk
11:55:12.695 * Background saving started by pid 13009
11:55:12.700 * DB saved on disk
11:55:12.700 * RDB: 6 MB of memory used by copy-on-write

从库接收主库的数据,清空自己的数据,然后将主库发送过来的RDB文件加载到内存中
11:55:12.780 * MASTER <-> SLAVE sync: receiving 12887 bytes from master
11:55:12.781 * MASTER <-> SLAVE sync: Flushing old data
11:55:12.781 * MASTER <-> SLAVE sync: Loading DB in memory
11:55:12.782 * MASTER <-> SLAVE sync: Finished with success

主库接收从库消息,主从复制成功
11:55:12.786 * Background saving terminated with success
11:55:12.786 * Synchronization with slave 10.0.0.52:6379 succeeded

Redis主从复制

快速创建第二台redis节点命令:
rsync -avz /opt/* db02:/opt/
rsync -avz /data db02:/
cd /opt/redis
make install
sed -i 's#51#52#g' /opt/redis_6379/conf/redis_6379.conf
rm -rf /data/redis_6379/*
redis-server /opt/redis_6379/conf/redis_6379.conf

配置方法:
方法1: 临时生效
[root@db-02 ~]# redis-cli -h 10.0.1.52
10.0.0.52:6379> SLAVEOF 10.0.1.51 6379
OK

方法2: 写入配置文件
SLAVEOF 10.0.1.51 6379

主从复制流程:
1.从节点发送同步请求到主节点
2.主节点接收到从节点的请求之后,做了如下操作

  • 立即执行bgsave将当前内存里的数据持久化到磁盘上
  • 持久化完成之后,将rdb文件发送给从节点
    3.从节点从主节点接收到rdb文件之后,做了如下操作
  • 清空自己的数据
  • 载入从主节点接收的rdb文件到自己的内存里
    4.后面的操作就是和主节点实时的了

取消主从复制
SLAVEOF no one

注意!!!
1.从节点只读不可写
2.从节点不会自动故障转移,它会一直同步主
10.0.1.52:6379> set k1 v1
(error) READONLY You can't write against a read only slave.
3.主从复制故障转移需要人工介入

  • 修改代码指向REDIS的IP地址
  • 从节点需要执行SLAVEOF no one

注意!!!
1.从节点会清空自己原有的数据,如果同步的对象写错了,就会导致数据丢失

安全的操作:
1.无论是同步,无论是主节点还是从节点
2.先备份一下数据

Redis哨兵

哨兵操作
1.快速安装3个redis节点
rsync -avz 10.0.0.51:/opt/* /opt/
mkdir /data/redis_6379 -p
cd /opt/redis
make install
sed -i 's#51#53#g' /opt/redis_6379/conf/redis_6379.conf
rm -rf /data/redis_6379/*
redis-server /opt/redis_6379/conf/redis_6379.conf
redis-cli

2.安装部署3个哨兵节点

!!!!注意!!!!
三个节点的bind IP修改为自己的IP地址
===========================
mkdir -p /data/redis_26379
mkdir -p /opt/redis_26379/{conf,pid,logs}

3.配置哨兵的配置文件
db01的配置：
cat >/opt/redis_26379/conf/redis_26379.conf << EOF
bind 10.0.0.51
port 26379
daemonize yes
logfile /opt/redis_26379/logs/redis_26379.log
dir /data/redis_26379
sentinel monitor mymaster 10.0.0.51 6379 2
sentinel down-after-milliseconds mymaster 3000
sentinel parallel-syncs mymaster 1
sentinel failover-timeout mymaster 18000
EOF

db02的配置：
cat >/opt/redis_26379/conf/redis_26379.conf << EOF
bind 10.0.0.52
port 26379
daemonize yes
logfile /opt/redis_26379/logs/redis_26379.log
dir /data/redis_26379
sentinel monitor mymaster 10.0.0.51 6379 2
sentinel down-after-milliseconds mymaster 3000
sentinel parallel-syncs mymaster 1
sentinel failover-timeout mymaster 18000
EOF

db03的配置：
cat >/opt/redis_26379/conf/redis_26379.conf << EOF
bind 10.0.0.53
port 26379
daemonize yes
logfile /opt/redis_26379/logs/redis_26379.log
dir /data/redis_26379
sentinel monitor mymaster 10.0.0.51 6379 2
sentinel down-after-milliseconds mymaster 3000
sentinel parallel-syncs mymaster 1
sentinel failover-timeout mymaster 18000
EOF

4.启动所有的单节点
redis-server /opt/redis_6379/conf/redis_6379.conf

5.配置主从复制
redis-cli -h db02 slaveof 10.0.0.51 6379
redis-cli -h db03 slaveof 10.0.0.51 6379

6.启动哨兵
redis-sentinel /opt/redis_26379/conf/redis_26379.conf

7.验证主节点
redis-cli -h db01 -p 26379 Sentinel get-master-addr-by-name mymaster
redis-cli -h db02 -p 26379 Sentinel get-master-addr-by-name mymaster
redis-cli -h db03 -p 26379 Sentinel get-master-addr-by-name mymaster

8.模拟故障转移

  • 关闭主节点服务上的所有redis进程
  • 观察其他2个节点会不会发生选举
  • 查看配置文件里会不会自动更新
  • 查看新的主节点能不能写入
  • 查看从节点能否正常同步

9.模拟故障修复上线

  • 启动单节点
  • 启动哨兵

10.模拟权重选举

  • 设置其他节点的权重为0
  • 手动发起重新选举
  • 观察所有节点消息是否同步
  • 观察切换结果是否符合预期

命令解释:
1.查询命令:CONFIG GET slave-priority
2.设置命令:CONFIG SET slave-priority 0
3.主动切换:sentinel failover mymaster

操作命令:
redis-cli -h db02 -p 6379 CONFIG SET slave-priority 0
redis-cli -h db03 -p 6379 CONFIG SET slave-priority 0
redis-cli -h db01 -p 26379 sentinel failover mymaster

验证选举结果:
redis-cli -h db01 -p 26379 Sentinel get-master-addr-by-name mymaster
哨兵节点常用命令
Info Sentinel
Sentinel masters
Sentinel master
Sentinel slaves
Sentinel sentinels
Sentinel get-master-addr-by-name
Sentinel failover
Sentinel flushconfig

Redis哨兵+主从+密码

主从密码配置文件里添加2行参数：
requirepass "123456"
masterauth "123456"

哨兵配置文件添加一行参数：
sentinel auth-pass mymaster 123456

基于密码认证的哨兵配置文件
db01的单节点配置:
cat >/opt/redis_6379/conf/redis_6379.conf < daemonize yes
bind 10.0.0.51 127.0.0.1
port 6379
pidfile /opt/redis_6379/pid/redis_6379.pid
logfile /opt/redis_6379/logs/redis_6379.log
databases 16
dir /data/redis_6379
dbfilename redis_6379.rdb
requirepass "123456"
masterauth "123456"
EOF

db02的单节点配置:
cat >/opt/redis_6379/conf/redis_6379.conf < daemonize yes
bind 10.0.0.52 127.0.0.1
port 6379
pidfile /opt/redis_6379/pid/redis_6379.pid
logfile /opt/redis_6379/logs/redis_6379.log
databases 16
dir /data/redis_6379
dbfilename redis_6379.rdb
requirepass "123456"
masterauth "123456"
EOF

db03的单节点配置:
cat >/opt/redis_6379/conf/redis_6379.conf < daemonize yes
bind 10.0.0.53 127.0.0.1
port 6379
pidfile /opt/redis_6379/pid/redis_6379.pid
logfile /opt/redis_6379/logs/redis_6379.log
databases 16
dir /data/redis_6379
dbfilename redis_6379.rdb
requirepass "123456"
masterauth "123456"
EOF

db01的配置：
cat >/opt/redis_26379/conf/redis_26379.conf << EOF
bind 10.0.0.51
port 26379
daemonize yes
logfile /opt/redis_26379/logs/redis_26379.log
dir /data/redis_26379
sentinel monitor mymaster 10.0.0.51 6379 2
sentinel down-after-milliseconds mymaster 3000
sentinel parallel-syncs mymaster 1
sentinel failover-timeout mymaster 18000
sentinel auth-pass mymaster 123456
EOF

db02的配置：
cat >/opt/redis_26379/conf/redis_26379.conf << EOF
bind 10.0.0.52
port 26379
daemonize yes
logfile /opt/redis_26379/logs/redis_26379.log
dir /data/redis_26379
sentinel monitor mymaster 10.0.0.51 6379 2
sentinel down-after-milliseconds mymaster 3000
sentinel parallel-syncs mymaster 1
sentinel failover-timeout mymaster 18000
sentinel auth-pass mymaster 123456
EOF

db03的配置：
cat >/opt/redis_26379/conf/redis_26379.conf << EOF
bind 10.0.0.53
port 26379
daemonize yes
logfile /opt/redis_26379/logs/redis_26379.log
dir /data/redis_26379
sentinel monitor mymaster 10.0.0.51 6379 2
sentinel down-after-milliseconds mymaster 3000
sentinel parallel-syncs mymaster 1
sentinel failover-timeout mymaster 18000
sentinel auth-pass mymaster 123456
EOF

停止redis进程
pkill redis

启动单节点
redis-server /opt/redis_6379/conf/redis_6379.conf

配置主从复制
redis-cli -h 10.0.0.52 -p 6379 -a 123456 slaveof 10.0.0.51 6379

redis-cli -h 10.0.0.53 -p 6379 -a 123456 slaveof 10.0.0.51 6379

启动哨兵
redis-sentinel /opt/redis_26379/conf/redis_26379.conf

Redis哨兵设置权重手动故障转移

1.查看权重
CONFIG GET slave-priority

2.设置权重
在其他节点把权重设为0
CONFIG SET slave-priority 0

3.主动发起重新选举
sentinel failover mymaster

4.恢复默认的权重
CONFIG SET slave-priority 100

CLUSTER MEET 10.0.0.51 6381
CLUSTER NODES
CLUSTER INFO
CLUSTER ADDSLOTS {0..5460}
CLUSTER REPLICATE 节点ID
CLUSTER FAILOVER

for i in {1..10000};do redis-cli -c -h 10.0.0.51 -p 6380 set {i};echo "${i}";done

redis集群安装部署

0.重要概念
每个槽分配到的key的概率足够随机,足够平均
redis集群一共有16384个槽位
只要有一个槽不正常,整个集群不可用
平均分配到每个槽位的概率是大致一样的
重要的是槽的数量,而不是连不连续

0.所有节点删除前面实验的数据
pkill redis
rm -rf /opt/redis_*
rm -rf /data/redis_*

1.目录规划
主节点 6380
从节点 6381

2.db01创建命令
pkill redis
rm -rf /opt/redis_*
rm -rf /data/redis_*
mkdir -p /opt/redis_{6380,6381}/{conf,logs,pid}
mkdir -p /data/redis_{6380,6381}
cat >/opt/redis_6380/conf/redis_6380.conf< bind 10.0.0.51
port 6380
daemonize yes
pidfile "/opt/redis_6380/pid/redis_6380.pid"
logfile "/opt/redis_6380/logs/redis_6380.log"
dbfilename "redis_6380.rdb"
dir "/data/redis_6380/"
cluster-enabled yes
cluster-config-file nodes_6380.conf
cluster-node-timeout 15000
EOF
cd /opt/
cp redis_6380/conf/redis_6380.conf redis_6381/conf/redis_6381.conf
sed -i 's#6380#6381#g' redis_6381/conf/redis_6381.conf
rsync -avz /opt/redis_638* db02:/opt/
rsync -avz /opt/redis_638* db03:/opt/
redis-server /opt/redis_6380/conf/redis_6380.conf
redis-server /opt/redis_6381/conf/redis_6381.conf
ps -ef|grep redis

3.db02操作命令
find /opt/redis_638* -type f -name "*.conf"|xargs sed -i "/bind/s#51#52#g"
mkdir –p /data/redis_{6380,6381}
redis-server /opt/redis_6380/conf/redis_6380.conf
redis-server /opt/redis_6381/conf/redis_6381.conf
ps -ef|grep redis

4.db03操作命令
find /opt/redis_638* -type f -name "*.conf"|xargs sed -i "/bind/s#51#53#g"
mkdir –p /data/redis_{6380,6381}
redis-server /opt/redis_6380/conf/redis_6380.conf
redis-server /opt/redis_6381/conf/redis_6381.conf
ps -ef|grep redis

发现节点

redis-cli -h db01 -p 6380 CLUSTER MEET 10.0.0.51 6381
redis-cli -h db01 -p 6380 CLUSTER MEET 10.0.0.52 6380
redis-cli -h db01 -p 6380 CLUSTER MEET 10.0.0.52 6381
redis-cli -h db01 -p 6380 CLUSTER MEET 10.0.0.53 6380
redis-cli -h db01 -p 6380 CLUSTER MEET 10.0.0.53 6381
redis-cli -h db01 -p 6380 CLUSTER NODES
redis-cli -h db01 -p 6380 CLUSTER INFO

手动分配槽位

0.前提条件
无论集群有几个节点,都平均分配16384个槽

1.槽位规划
db01:6380 0-5460
db02:6380 5461-10921
db03:6380 10922-16383

2.分配槽位
redis-cli -h db01 -p 6380 CLUSTER ADDSLOTS {0..5460}
redis-cli -h db02 -p 6380 CLUSTER ADDSLOTS {5461..10922}
redis-cli -h db03 -p 6380 CLUSTER ADDSLOTS {10923..16383}
如果10922添加不了，进redis-cli -h db02 -p 6380
执行CLUSTER ADDSLOTS 10922
3.查看集群状态
redis-cli -h db01 -p 6380 CLUSTER info

手动部署复制关系

1.将集群节点信息保存在文本里,删除不必要的信息,删除81的信息
redis-cli -h 10.0.0.51 -p 6381 CLUSTER NODES
#db01的6380的ID 10.0.0.51:6380
#db02的6380的ID 10.0.0.52:6380
#db03的6380的ID 10.0.0.53:6380

2.操作其他节点
redis-cli -h 10.0.0.51 -p 6381 CLUSTER REPLICATE #db02的6380的ID
redis-cli -h 10.0.0.52 -p 6381 CLUSTER REPLICATE #db03的6380的ID
redis-cli -h 10.0.0.53 -p 6381 CLUSTER REPLICATE #db01的6380的ID

测试集群

1.尝试插入一条数据发现报错
10.0.1.51:6380> set k1 v1
(error) MOVED 12706 10.0.1.53:6380

2.目前的现象

  • 在db01的6380节点插入数据提示报错
  • 报错内容提示应该移动到db03的6380上
  • 在db03的6380上执行相同的插入命令可以插入成功
  • 在db01的6380节点插入数据有时候可以,有时候不行
  • 使用-c参数后,可以正常插入命令,并且节点切换到了提示的对应节点上

3.问题原因
因为集群模式又ASK路由规则,加入-c参数后,会自动跳转到目标节点处理
并且最后由目标节点返回信息

4.测试足够随机足够平均

 #!/bin/bash
for i in $(seq 1 1000)
 do
redis-cli -c -h db01 -p 6380 set k_${i} v_${i} && echo "set 
k_${i} is ok"
 done

使用工具搭建部署Redis Cluster

1.安装依赖-只要在db01上操作
yum makecache fast
yum install rubygems -y
gem sources --remove https://rubygems.org/
gem sources -a http://mirrors.aliyun.com/rubygems/
gem update –system
gem install redis -v 3.3.5

2.还原环境-所有节点都执行!!!
pkill redis
rm -rf /data/redis_6380/*
rm -rf /data/redis_6381/*

3.启动集群节点-所有节点都执行
redis-server /opt/redis_6380/conf/redis_6380.conf
redis-server /opt/redis_6381/conf/redis_6381.conf
ps -ef|grep redis

4.使用工具搭建部署Redis
cd /opt/redis/src/
./redis-trib.rb create --replicas 1 10.0.0.51:6380 10.0.0.52:6380 10.0.0.53:6380 10.0.0.51:6381 10.0.0.52:6381 10.0.0.53:6381

5.检查集群完整性
./redis-trib.rb check 10.0.0.51:6380

6.检查集群负载是否合规
./redis-trib.rb rebalance 10.0.0.51:6380

使用工具扩容节点

1.创建新节点-db01操作
mkdir -p /opt/redis_{6390,6391}/{conf,logs,pid}
mkdir -p /data/redis_{6390,6391}
cd /opt/
cp redis_6380/conf/redis_6380.conf redis_6390/conf/redis_6390.conf
cp redis_6380/conf/redis_6380.conf redis_6391/conf/redis_6391.conf
sed -i 's#6380#6390#g' redis_6390/conf/redis_6390.conf
sed -i 's#6380#6391#g' redis_6391/conf/redis_6391.conf
redis-server /opt/redis_6390/conf/redis_6390.conf
redis-server /opt/redis_6391/conf/redis_6391.conf
ps -ef|grep redis
redis-cli -c -h db01 -p 6380 cluster meet 10.0.0.51 6390
redis-cli -c -h db01 -p 6380 cluster meet 10.0.0.51 6391
redis-cli -c -h db01 -p 6380 cluster nodes

2.使用工具扩容步骤
cd /opt/redis/src/
./redis-trib.rb reshard 10.0.0.51:6380

第一次交互:每个节点保留多少个槽位
How many slots do you want to move (from 1 to 16384)? 4096

第二次交互:接收节点的ID是什么
What is the receiving node ID? 6390的ID

第三次交互:哪个节点需要导出
Source node #1: all

第四次交互:确认是否执行分配
Do you want to proceed with the proposed reshard plan (yes/no)? yes

3.检查集群完整性
./redis-trib.rb check 10.0.0.51:6380

4.检查集群负载是否合规
./redis-trib.rb rebalance 10.0.0.51:6380

5.调整复制顺序
redis-cli -h 10.0.0.53 -p 6381 CLUSTER REPLICATE 51-6390的ID
redis-cli -h 10.0.0.51 -p 6391 CLUSTER REPLICATE 51-6380的ID

6.测试写入脚本
[root@db01 ~]# cat for.sh

!/bin/bash

for i in {i} v_{i} is ok"
done

7.测试读脚本

[root@db03 ~]# cat du.sh 

 #!/bin/bash 

 for i in $(seq 1 100000)
do
redis-cli -c -h db01 -p 6380 get k_${i}
sleep 0.1 
done

使用工具收缩节点

1.使用工具收缩节点
cd /opt/redis/src/
./redis-trib.rb reshard 10.0.0.51:6380

2.第一次交互: 要迁移多少个
How many slots do you want to move (from 1 to 16384)? 1365

3.第二次交互: 输入第一个需要接收节点的ID
What is the receiving node ID? db01的6380的ID

4.第三次交互: 输入需要导出的节点的ID
Please enter all the source node IDs.
Type 'all' to use all the nodes as source nodes for the hash slots.
Type 'done' once you entered all the source nodes IDs.
Source node #1: db01的6390的ID
Source node #2: done

5.第四次交互: 确认
Do you want to proceed with the proposed reshard plan (yes/no)? yes

6.继续重复的操作,直到6390所有的槽位都分配给了其他主节点

7.确认集群状态是否正常,确认6390槽位是否都迁移走了

8.忘记以及下线节点
./redis-trib.rb del-node 10.0.0.51:6390 baf9585a780d9f6e731972613a94b6f3e6d3fb5e
./redis-trib.rb del-node 10.0.0.51:6391 e54a79cca258eb76fb74fc12dafab5ebac26ed90
CLUSTER SETSLOT 941 STABLE 恢复槽位的栏杆
集群快速从做（没有数据情况）
redis-cli -h 10.0.0.51 -p 6380 CLUSTER RESET
redis-cli -h 10.0.0.51 -p 6381 CLUSTER RESET
redis-cli -h 10.0.0.52 -p 6380 CLUSTER RESET
redis-cli -h 10.0.0.52 -p 6381 CLUSTER RESET
redis-cli -h 10.0.0.53 -p 6380 CLUSTER RESET
redis-cli -h 10.0.0.53 -p 6381 CLUSTER RESET

redis-cli -h 10.0.0.51 -p 6380 CLUSTER meet 10.0.0.51 6381
redis-cli -h 10.0.0.51 -p 6380 CLUSTER meet 10.0.0.52 6380
redis-cli -h 10.0.0.51 -p 6380 CLUSTER meet 10.0.0.52 6381
redis-cli -h 10.0.0.51 -p 6380 CLUSTER meet 10.0.0.53 6380
redis-cli -h 10.0.0.51 -p 6380 CLUSTER meet 10.0.0.53 6381
redis-cli -h 10.0.0.51 -p 6380 cluster nodes

redis-cli -h 10.0.0.51 -p 6380 cluster addslots {0..5460}
redis-cli -h 10.0.0.52 -p 6380 cluster addslots {5461..10922}
redis-cli -h 10.0.0.53 -p 6380 cluster addslots {10923..16383}
redis-cli -h 10.0.0.51 -p 6380 cluster info

数据迁移

1.安装工具
yum install libtool autoconf automake -y
cd /opt/
git clone https://github.com/vipshop/redis-migrate-tool.git
cd redis-migrate-tool/
autoreconf -fvi
./configure
make && make install

2.编写配置文件
cat > 6379_to_6380.conf << EOF
[source]
type: single
servers:

  • 10.0.0.51:6379

[target]
type: redis cluster
servers:

  • 10.0.0.51:6380

[common]
listen: 0.0.0.0:8888
source_safe: true
EOF

3.单节点生成测试数据
mkdir -p /data/redis_6379
mkdir -p /opt/redis_6379/{conf,pid,logs}
cat >/opt/redis_6379/conf/redis_6379.conf < daemonize yes
bind 10.0.0.51 127.0.0.1
port 6379
pidfile /opt/redis_6379/pid/redis_6379.pid
logfile /opt/redis_6379/logs/redis_6379.log
databases 16
dir /data/redis_6379
dbfilename redis_6379.rdb
EOF
redis-server /opt/redis_6379/conf/redis_6379.conf

cat >input_6379.sh <

!/bin/bash

for i in {1..1000}
do
redis-cli -c -h db01 -p 6379 set oldzhang_${i} oldzhang_${i}
echo "set oldzhang_${i} is ok"
done
EOF

4.运行工具迁移单节点数据到集群
redis-migrate-tool -c 6379_to_6380.conf

5.运行工具验证数据是否迁移完成
redis-migrate-tool -c 6379_to_6380.conf
redis-migrate-tool -c 6379_to_6380.conf -C redis_check

第七章 RDB文件迁移到集群

1.先把集群的RDB文件都收集起来

  • 在从节点上执行bgsave命令生成RDB文件
    redis-cli -h db01 -p 6381 BGSAVE
    redis-cli -h db02 -p 6381 BGSAVE
    redis-cli -h db03 -p 6381 BGSAVE

2.把从节点生成的RDB文件拉取过来
mkdir rdb_backup
cd rdb_backup/
scp db01:/data/redis_6381/redis_6381.rdb db01_6381.rdb
scp db02:/data/redis_6381/redis_6381.rdb db02_6381.rdb
scp db03:/data/redis_6381/redis_6381.rdb db03_6381.rdb

3.清空所有节点的数据
redis-cli -h db01 -p 6380 FLUSHALL
redis-cli -h db02 -p 6380 FLUSHALL
redis-cli -h db03 -p 6380 FLUSHALL

4.编写配置文件
cat >rdb_to_cluter.conf< [source]
type: rdb file
servers:

  • /root/rdb_backup/db01_6381.rdb
  • /root/rdb_backup/db02_6381.rdb
  • /root/rdb_backup/db03_6381.rdb

[target]
type: redis cluster
servers:

  • 10.0.0.51:6380

[common]
listen: 0.0.0.0:8888
source_safe: true
EOF

8.使用工具导入
redis-migrate-tool -c rdb_to_cluter.conf

使用工具分析key的大小

0.需求背景
redis的内存使用太大键值太多,不知道哪些键值占用的容量比较大,而且在线分析会影响性能.

1.安装命令:
yum install python-pip gcc python-devel -y
cd /opt/
git clone https://github.com/sripathikrishnan/redis-rdb-tools
cd redis-rdb-tools
pip install python-lzf
python setup.py install

2.生成测试数据:
redis-cli -h db01 -p 6379 set txt $(cat txt.txt)

3.执行bgsave生成rdb文件
redis-cli -h db01 -p 6379 BGSAVE

3.使用工具分析:
cd /data/redis_6379/
rdb -c memory redis_6379.rdb -f redis_6379.rdb.csv

4.过滤分析
awk -F"," '{print 3}' redis_6379.rdb.csv |sort -r

5.将结果整理汇报给领导,询问开发这个key是否可以删除

生产注意:

1.一定要限制内存最大使用
maxmemory

2.限制内存多少
redis本身使用了5G 系统内存为32G
10G用满后 分析一下键值大小
16G用满后 分析一下键值大小
最多给到24G 剩下的内存给系统和持久化时候用
24G用满后

maxmemory-policy noeviction

3.硬盘用SSD

4.集群注意
数据迁移或者主从关系发生改变,尽量在业务低峰期操作
一定要等集群状态稳定之后,在操作下一步

5.集群下线节点
先下线从节点,在下线主节点

6.禁止使用keys *
替代方案使用scan

7.故障转移时间不要调太短

8.RDB持久化可以在从节点上操作

9.如果同时需要RDB和AOF
挂载2块SSD
通过配置,AOF和RDB保存在不同的磁盘上

10.redis的机器上不要跑其他的服务,专机专用

11.网卡要快

12.监控要跟上

13.不要使用swap分区

故障案例

问题背景:
使用工具执行槽位迁移的时候,迁移过程中中断了

问题现象:

1.使用工具check的时候提示941槽的状态为import导入状态
[ERR] Nodes don't agree about c onfigu ration !
5P Check for open sLots
[WARNING] Node 10.0.0.51:6390 has slots in inporting state (941).

2.登录到不同节点查看集群节点信息发现不同的节点,显示的槽位不一样
6390显示 941 槽在 6380身上
6380显示 941 槽在 6390身上

3.登录到6380上查看槽位显示一切正常
登录到6390显示槽位不正常,有一个导入的符号941<节点ID
941<节点ID

排查步骤:
1.使用工具fix,行不通,报错
2.登录到有问题的节点6390身上,执行恢复槽位状态的命令,执行完之后,槽位状态显示正常
CLUSTER SETSLOT 941 STABLE
3.再次尝试使用fix,还是行不通,依然报错
4.尝试登陆6390,删除941槽位
CLUSTER DELSLOTS 941
5.再次尝试使用fix,还是行不通,依然报错
6.尝试登陆6380,删除941槽位
7.再次尝试使用fix,不报错了
8.尝试使用check,不报错
9.重新分配槽位


redis_第1张图片
QQ图片20191203152748.png
redis_第2张图片
槽位.png

你可能感兴趣的:(redis)

  • 什么是缓存雪崩？缓存击穿？缓存穿透？分别如何解决？什么是缓存预热？ daixin8848 缓存redisjava开发语言
    缓存雪崩：在一个时间段内，有大量的key过期，或者Redis服务宕机，导致大量的请求到达数据库,带来巨大压力-给key设置不同的TTL、利用Redis集群提高服务的高可用性、添加多级缓存、添加降级流策略缓存击穿：给某一个key设置了过期时间，当key过期的时间，恰好这个时间点有大量的并发请求访问这个key，可能会瞬间把数据库压垮-互斥锁：缓存失败时，只允许一个请求去加载数据并更新缓存，其他请求阻塞
  • 基于redis的Zset实现作者的轻量级排名 周童學 Javaredis数据库缓存
    基于redis的Zset实现轻量级作者排名系统在今天的技术架构中，Redis是一种广泛使用的内存数据存储系统，尤其在需要高效检索和排序的场景中表现优异。在本篇博客中，我们将深入探讨如何使用Redis的有序集合（ZSet）构建一个高效的笔记排行榜系统，并提供相关代码示例和详细的解析。1.功能背景与需求假设我们有一个笔记分享平台，用户可以发布各种笔记，系统需要根据用户发布的笔记数量来生成一个实时更新的
  • Redis + Caffeine 实现高效的两级缓存架构 周童學 Java缓存redis架构
    Redis+Caffeine实现高效的两级缓存架构引言在现代高并发系统中，缓存是提升系统性能的关键组件之一。传统的单一缓存方案往往难以同时满足高性能和高可用性的需求。本文将介绍如何结合Redis和Caffeine构建一个高效的两级缓存系统，并通过三个版本的演进展示如何逐步优化代码结构。项目源代码：github地址、gitee地址两级缓存架构概述两级缓存通常由本地缓存（如Caffeine）和分布式缓
  • Redis 分布式锁深度解析：过期时间与自动续期机制 爱恨交织围巾 分布式事务redis分布式数据库微服务学习go
    Redis分布式锁深度解析：过期时间与自动续期机制在分布式系统中，Redis分布式锁的可靠性很大程度上依赖于对锁生命周期的管理。上一篇文章我们探讨了分布式锁的基本原理，今天我们将聚焦于一个关键话题：如何通过合理设置过期时间和实现自动续期机制，来解决分布式锁中的死锁与锁提前释放问题。一、为什么过期时间是分布式锁的生命线？你的笔记中提到"服务挂掉时未删除锁可能导致死锁"，这正是过期时间要解决的核心问题
  • 如何在 Ubuntu 24.04 或 22.04 Linux 上安装和运行 Redis 服务器 山岚的运维笔记 Linux运维及使用linux服务器ubunturedis数据库
    Redis（RemoteDictionaryServer，远程字典服务器）是一种内存数据结构存储，通常用作NoSQL数据库、缓存和消息代理。它是开源的，因此用户可以免费安装，无需支付任何费用。Redis旨在为需要快速数据访问和低延迟的应用程序提供速度和效率。Redis支持多种数据类型，包括字符串（Strings）、列表（Lists）、集合（Sets）、哈希（Hashes）、有序集合（SortedS
  • Ubuntu Docker 安装Redis LLLL96 Ubuntudockerdockerredisubuntu
    目录介绍1.数据结构丰富2.高性能3.持久化1.拉取Redis镜像2.创建挂载目录(可选)3.配置Redis持久化(可选)4.使用配置文件运行容器5.查看redis日志介绍1.数据结构丰富Redis支持多种数据结构，包括：字符串（String）:可以用来存储任何类型的数据，例如文本、数字或二进制数据。哈希（Hash）:存储字段和值的映射，适合用于表示对象。列表（List）:有序的字符串列表，可以用
  • Docker ℡余晖^ 黑马点评项目相关问题和笔记dockereureka容器
    在黑马点评项目中，在谈到Redisson解决redis的主从一致性问题时，弹幕提到了Docker，本文来简单了解一下Docker，我的初步理解运维是维护多个集群的稳定，那它和VM虚拟机的区别又是什么？，如果要更深入地理解与学习（运维工程师），可以到b站搜索专门的课程（SpringCloud）。一、Docker是什么？重新理解“容器化”的本质1.1Docker的定义Docker是一个开源的容器化平台
  • 分布式全局唯一ID生成：雪花算法 vs Redis Increment，怎么选？
    雪花算法vsRedisIncrement：分布式全局唯一ID生成方案深度对比在分布式系统开发中，“全局唯一ID”是绕不开的核心问题。无论是分库分表的数据库设计、订单编号的唯一性保证，还是日志追踪的链路标识，都需要一套可靠的ID生成方案。今天我们就来聊聊两种主流方案——雪花算法（Snowflake）和RedisIncrement，并从原理、特性到适用场景，帮你理清如何选择。同时，我们还将对比其他常见
  • 零基础学习性能测试第八章：高并发-redis缓存架构介绍 试着 性能测试缓存学习redis性能测试零基础
    目录一、Redis在高并发中的核心价值二、Redis核心架构模式▶1.缓存穿透防御架构▶2.热点数据多级缓存三、Redis集群高可用方案▶1.RedisCluster分片架构▶2.读写分离方案四、Redis性能压测实战▶1.基准测试工具▶2.关键性能指标五、典型瓶颈分析与优化案例1：缓存雪崩案例2：热Key阻塞六、电商秒杀实战架构七、必须掌握的进阶技巧八、学习路径与工具推荐以下是为零基础学习者设计
  • Redis五大基本数据类型 ruan114514 redis数据库缓存java
    Redis作为高性能的键值存储系统，其核心价值在于丰富的数据结构。本文将深入剖析Redis的五种基本数据类型，揭示其内部实现原理，并提供实际应用场景和最佳实践。一、字符串（String）：Redis的基石底层实现Redis字符串使用简单动态字符串（SDS）结构：structsdshdr{intlen;//已使用长度intfree;//未使用空间charbuf[];//字节数组};优势特性：O(1)
  • redis反弹shell时kali无法接收回弹的解决方法 显哥无敌 shellredis
    无法接受回谈大概率是bash命令写的不对，那个crontab中间的星号个数是有意义的，不是随便加的，下面贴一下crontab的基本用法https://www.cnblogs.com/zhoading/p/11572630.html{minute}{hour}{day-of-month}{month}{day-of-week}{full-path-to-shell-script}如果是要cronta
  • ubuntu的redis反弹shell总结 chanra 萌新随笔ubunturedislinux
    ubuntu的redis反弹shell总结ubuntu要执行有三点：1、ubuntu的默认执行命令的为/bin/dash，我们使用bash-i肯定是弹不了的。2、ubuntu计划任务运行有语法要求，redis写入的文件存在缓存数据，导致语法错误无法运行计划任务。3、文件需要是600rw权限，权限不对也不能运行，不过我直接写入貌似就是600rw。参考链接：http://www.vkxss.top/2
  • Redis反弹Shell 波吉爱睡觉 web安全#未授权访问漏洞#SSRFredis网络安全web安全
    这里我来总结几种Redis反弹Shell的方法一、利用Redis写WebShell前提条件开了web服务器，并且知道路径，还需要有文件读写增删改查的权限条件比较苛刻，但是满足条件上传就会简单一点，我们直接将文件写入www目录下，完了使用工具连接即可。语句：redis:6379>configsetdir/var/www/html/redis:6379>configsetdbfilenameshell
  • 跳表：来自概率的优雅平衡 allenXer 算法与数据结构redis数据结构算法python学习
    跳表：来自概率的优雅平衡从抛硬币到Redis核心，跳表如何用随机性颠覆数据结构设计引言：平衡的艺术在计算机科学的世界里，数据结构的设计者一直在追求一种完美平衡：快速查询的同时保持高效的插入和删除。平衡树（如AVL树、红黑树）曾是这个领域的王者，但它们的复杂性令人望而生畏。直到1989年，计算机科学家WilliamPugh提出了一种革命性的数据结构——跳表（SkipList），它用概率的魔力实现了近
  • 零基础学习性能测试第六章：性能难点-Jmeter实现海量用户压测
    目录一、海量压测核心挑战与解决思路二、分布式压测集群搭建（百倍性能提升）1.架构设计2.实战步骤三、百万级用户参数化方案1.Redis预生成测试数据2.JMeter分段读取（避免内存溢出）3.CSV分片策略四、高并发优化配置模板1.`jmeter.properties`关键修改2.线程组配置技巧五、结果收集与监控方案1.轻量级结果存储2.实时监控看板六、海量压测实战案例：双11级流量模拟测试目标：
  • 学习Java项目--尚庭公寓--第7天 流萤老公学Java Java第一个后端项目学习学习
    一、开发准备：Redis、knife4j入门1、Redis客户端使用redisInsight官方开源的图形化客户端。也可以使用命令行模式2、常用数据类型及命令通用命令（各种数据类型都可以使用的命令）：keys*:查看所有键dbsize：查看键个数exists：判断key是否存在del：删除keyttl：查看key剩余过期时间String类型命令：setkeyvalue：getkeyincr：自增操
  • Redis弱事务机制深度剖析与实战指南 lxb_不卑不亢 redisredis事务内存数据库
    引言在数据库系统中，事务是保证数据一致性的重要机制。与传统关系型数据库的ACID事务不同，Redis提供了一种独特的"弱事务"机制。这种设计在保证高性能的同时，提供了基本的事务功能。本文将深入解析Redis弱事务的本质特性、实现原理、使用场景以及Java语言下的最佳实践，帮助开发者正确理解并合理运用这一重要特性。一、Redis事务的本质特性1.1什么是弱事务Redis的事务与关系型数据库的ACID
  • redis性能测试报告结果 无级程序员 数据库大数据redis性能
    redis性能测试1.环境配置：2.测试准备：2.1每服务器一个Redis的结果：2.2每服务器两个Redis的结果：3.结论：由于项目需要，要查询一个数量巨大的键值对，数据量大约6亿。先是在内存中用hashmap，虽然速度很快，但数据量不到1亿就直接死机了，而且无法持久，每次重新加载，也不合理。于是就想到了redis。测试方法：1.环境配置：主机配置：机器用途配置数量Redis服务器XeonE5
  • 排查解决腾讯云服务器存在对外攻击行为，已阻断该服务器对其他服务器端口（TCP：6379）的访问
    【腾讯云】服务违规封禁提醒解决方法来自腾讯客服https://cloud.tencent.com/document/product/296/9604，这是我们给您的建议，建议您排查下您的服务器情况您现在登录上您的服务器了嘛您执行下crontab-l给我看下在执行netstat-ano|egrep"tcp|udp"redis端口这里有问题您执行netstat-tupln给我看下<
  • ignite redis_全面对比，深度解析 Ignite 与 Spark weixin_39997696 igniteredis
    经常有人拿Ignite和Spark进行比较，然后搞不清两者的区别和联系。Ignite和Spark，如果笼统归类，都可以归于内存计算平台，然而两者功能上虽然有交集，并且Ignite也会对Spark进行支持，但是不管是从定位上，还是从功能上来说，它们差别巨大，适用领域有显著的区别。本文从各个方面对此进行对比分析，供各位技术选型参考。一、综述Ignite和Spark都为Apache的顶级开源项目，遵循A
  • 零基础学习性能测试第九章：全链路追踪-项目实操 试着 性能测试学习性能测试零基础
    目录一、实战项目架构（电商下单系统）二、环境搭建（30分钟）1.使用DockerCompose一键部署2.启动命令三、项目集成SkyWalking1.SpringBoot项目添加Agent2.关键业务代码埋点四、全链路压测实战1.JMeter压测脚本配置2.执行压测命令五、全链路追踪分析实战1.在SkyWalking中定位瓶颈2.真实瓶颈分析案例六、中间件性能分析1.Redis性能分析2.MySQ
  • 智能云图库项目
    1、项目介绍平台基于SpringBoot+Redis+COS+AI绘图+RabbitMQ+WebSocket，支持图片上传、存储、协作编辑与智能分析。平台分为公共图库、私有图库和企业空间，支持多账号权限体系与实时协作。第一阶段，开发公共图库平台。实战SpringBoot图片素材网址的快速开发，重点学习文件存管业务的开发和优化技巧。第二阶段，对项目的C端功能进行扩展。用户可开通私有空间，并对空间图片
  • Python,Go, C ++开发升学宝典APP
    为了开发一个高效、可扩展的“升学宝典”APP，结合Python、Go和C++的优势，以下是技术架构设计和实现方案：###一、整体技术架构```mermaidgraphLRA[移动端]-->B[Go网关]B-->C[Python微服务]B-->D[C++微服务]C-->E[MySQL]D-->F[Redis]```###二、技术栈分工1.**Python(Django/FastAPI)**-核心业务
  • 零基础学习性能测试第九章：全链路追踪-系统中间件节点监控 试着 性能测试学习中间件性能测试零基础
    目录一、为什么需要监控中间件节点？二、主流中间件监控方案1.监控体系架构2.监控工具矩阵三、环境搭建实战1.部署Prometheus2.部署Grafana四、中间件监控配置实战1.Nginx监控2.Redis监控3.Kafka监控4.MySQL监控五、全链路追踪中的中间件监控1.SkyWalking与Prometheus集成2.全链路视角的中间件监控六、性能瓶颈定位实战1.瓶颈分析流程图2.典型瓶
  • Python爬虫【三十二章】爬虫高阶：动态页面处理与Scrapy+Selenium+BeautifulSoup分布式架构深度解析实战
    目录引言一、动态页面爬取的技术背景1.1动态页面的核心特征1.2传统爬虫的局限性二、技术选型与架构设计2.1核心组件分析2.2架构设计思路1.分层处理2.数据流三、代码实现与关键技术3.1Selenium与Scrapy的中间件集成3.2BeautifulSoup与ScrapyItem的整合3.3分布式爬取实现3.3.1Scrapy-Redis部署3.3.2多节点启动四、优化与扩展4.1性能优化策略
  • 《亿级流量系统架构设计与实战》Redis高可用架构
    主从模式一个Master与若干Slave组成主从关系，当Slave与Master首次建立连接时，Master向Slave进行全量数据复制，复制结束后，再根据Master的最新数据变更进行增量数据复制。主从复制流程：Slave连接到Master,发送PSYNC命令准备复制数据Master收到PSYNC命令，执行BGSAVE命令生成目前全量数据的RDB快照文件，并创建缓冲区记录此后Master执行的数
  • 常见的未授权访问如：Redis,MongoDb,Memcached,Jenkins,Jupyter NoteBook,Elasticsearch,Kibana等二十四个靶场复现 终焉暴龙王 安全网络web安全
    前言这这篇文章中我会记录24种常见的未授权访问漏洞的靶场复现，如果有错误，欢迎大家指正。在本文中，漏洞复现的靶场完全是靠自己搭建的vulhub-master以及一系列的靶场以及fofa搜索，如果之前没有用过vulhub-master靶场，请先搭建好vulhub-master靶场并且安装docker和docker-compose。另外，其中一些涉及到敏感信息的漏洞复现我就不截图了，大家切记要树立好法
  • Redis如何解决大Key问题 TravisBytes #Redis编程问题档案redis数据库缓存
    目录**如何解决Redis大Key（BigKey）问题？****1.什么是大Key？****2.如何发现大Key？****（1）使用`SCAN`命令遍历所有Key****（2）统计Key的类型和大小****3.如何解决大Key问题？****方案1：大Key拆分（Sharding）****（1）String过大：分片存储****（2）List/Set/Hash过大：拆分Key****方案2：分页存储
  • 【Redis】浅析Redis大Key
    目录1、什么是Redis大Key2、大Key是怎么产生的3、大Key导致的问题4、如何快速找到Redis大Key5、大Key优化策略6、总结我们在使用Redis的过程中，如果未能及时发现并处理Bigkeys（下文称为“大Key”），可能会导致服务性能下降、用户体验变差，严重的甚至会引发大面积故障。本文将介绍大Key产生的原因、其可能引发的问题及如何快速找出大Key并将其优化的方案。1、什么是Red
  • 如何优化 Redis 大 Key 问题 小白整理 redisphp数据库java缓存
    Redis是一个高性能的键值数据库，广泛用于缓存和数据存储。然而，处理大Key（即包含大量数据的单个键）可能会导致性能问题。本文将探讨Redis大Key的挑战，并提供优化策略，以确保Redis实例的稳定性和性能。1.什么是Redis大Key？在Redis中，大Key是指单个键值对的数据量非常大，可能包含大量数据。例如，存储一个非常大的列表、哈希表、集合或有序集合等。这种大Key可能会影响Redis
  • jvm调优总结（从基本概念 到 深度优化） oloz javajvmjdk虚拟机应用服务器
    JVM参数详解：http://www.cnblogs.com/redcreen/archive/2011/05/04/2037057.html   Java虚拟机中，数据类型可以分为两类：基本类型和引用类型。基本类型的变量保存原始值，即：他代表的值就是数值本身；而引用类型的变量保存引用值。“引用值”代表了某个对象的引用，而不是对象本身，对象本身存放在这个引用值所表示的地址的位置。
  • 【Scala十六】Scala核心十：柯里化函数 bit1129 scala
    本篇文章重点说明什么是函数柯里化，这个语法现象的背后动机是什么，有什么样的应用场景，以及与部分应用函数(Partial Applied Function)之间的联系   1. 什么是柯里化函数 A way to write functions with multiple parameter lists. For instance def f(x: Int)(y: Int) is a
  • HashMap dalan_123 java
    HashMap在java中对很多人来说都是熟的；基于hash表的map接口的非同步实现。允许使用null和null键；同时不能保证元素的顺序；也就是从来都不保证其中的元素的顺序恒久不变。 1、数据结构     在java中，最基本的数据结构无外乎：数组 和 引用（指针），所有的数据结构都可以用这两个来构造，HashMap也不例外，归根到底HashMap就是一个链表散列的数据
  • Java Swing如何实时刷新JTextArea，以显示刚才加append的内容 周凡杨 java更新swingJTextArea
    在代码中执行完textArea.append("message")后，如果你想让这个更新立刻显示在界面上而不是等swing的主线程返回后刷新，我们一般会在该语句后调用textArea.invalidate()和textArea.repaint()。 问题是这个方法并不能有任何效果，textArea的内容没有任何变化，这或许是swing的一个bug，有一个笨拙的办法可以实现
  • servlet或struts的Action处理ajax请求 g21121 servlet
    其实处理ajax的请求非常简单，直接看代码就行了： //如果用的是struts //HttpServletResponse response = ServletActionContext.getResponse(); // 设置输出为文字流 response.setContentType("text/plain"); // 设置字符集 res
  • FineReport的公式编辑框的语法简介 老A不折腾 finereport公式总结
    FINEREPORT用到公式的地方非常多，单元格（以=开头的便被解析为公式），条件显示，数据字典，报表填报属性值定义，图表标题，轴定义，页眉页脚，甚至单元格的其他属性中的鼠标悬浮提示内容都可以写公式。 简单的说下自己感觉的公式要注意的几个地方：   1.if语句语法刚接触感觉比较奇怪，if(条件式子,值1,值2)，if可以嵌套，if(条件式子1，值1，if(条件式子2，值2，值3)
  • linux mysql 数据库乱码的解决办法 墙头上一根草 linuxmysql数据库乱码
    linux 上mysql数据库区分大小写的配置 lower_case_table_names=1 1-不区分大小写 0-区分大小写   修改/etc/my.cnf 具体的修改内容如下:   [client] default-character-set=utf8   [mysqld] datadir=/var/lib/mysql socket=/va
  • 我的spring学习笔记6-ApplicationContext实例化的参数兼容思想 aijuans Spring 3
    ApplicationContext能读取多个Bean定义文件，方法是： ApplicationContext appContext = new ClassPathXmlApplicationContext（ new String[]｛“bean-config1.xml”，“bean-config2.xml”，“bean-config3.xml”，“bean-config4.xml
  • mysql 基准测试之sysbench annan211 基准测试mysql基准测试MySQL测试sysbench
    1 执行如下命令，安装sysbench-0.5： tar xzvf sysbench-0.5.tar.gz  cd sysbench-0.5  chmod +x autogen.sh  ./autogen.sh  ./configure --with-mysql --with-mysql-includes=/usr/local/mysql
  • sql的复杂查询使用案列与技巧 百合不是茶 oraclesql函数数据分页合并查询
      本片博客使用的数据库表是oracle中的scott用户表;          -------------------  自然连接查询           查询 smith 的上司(两种方法) &
  • 深入学习Thread类 bijian1013 javathread多线程java多线程
    一．             线程的名字 下面来看一下Thread类的name属性，它的类型是String。它其实就是线程的名字。在Thread类中，有String getName()和void setName(String)两个方法用来设置和获取这个属性的值。 同时，Thr
  • JSON串转换成Map以及如何转换到对应的数据类型 bijian1013 javafastjsonnet.sf.json
            在实际开发中，难免会碰到JSON串转换成Map的情况，下面来看看这方面的实例。另外，由于fastjson只支持JDK1.5及以上版本，因此在JDK1.4的项目中可以采用net.sf.json来处理。 一.fastjson实例 JsonUtil.java package com.study; impor
  • 【RPC框架HttpInvoker一】HttpInvoker：Spring自带RPC框架 bit1129 spring
    HttpInvoker是Spring原生的RPC调用框架，HttpInvoker同Burlap和Hessian一样，提供了一致的服务Exporter以及客户端的服务代理工厂Bean，这篇文章主要是复制粘贴了Hessian与Spring集成一文，【RPC框架Hessian四】Hessian与Spring集成   在 【RPC框架Hessian二】Hessian 对象序列化和反序列化一文中
  • 【Mahout二】基于Mahout CBayes算法的20newsgroup的脚本分析 bit1129 Mahout
    #!/bin/bash # # Licensed to the Apache Software Foundation (ASF) under one or more # contributor license agreements. See the NOTICE file distributed with # this work for additional information re
  • nginx三种获取用户真实ip的方法 ronin47
    随着nginx的迅速崛起，越来越多公司将apache更换成nginx. 同时也越来越多人使用nginx作为负载均衡, 并且代理前面可能还加上了CDN加速，但是随之也遇到一个问题：nginx如何获取用户的真实IP地址,如果后端是apache,请跳转到<apache获取用户真实IP地址>，如果是后端真实服务器是nginx，那么继续往下看。 实例环境： 用户IP 120.22.11.11
  • java-判断二叉树是不是平衡 bylijinnan java
    参考了 http://zhedahht.blog.163.com/blog/static/25411174201142733927831/ 但是用java来实现有一个问题。 由于Java无法像C那样“传递参数的地址，函数返回时能得到参数的值”，唯有新建一个辅助类：AuxClass import ljn.help.*; public class BalancedBTree {
  • BeanUtils.copyProperties VS PropertyUtils.copyProperties 诸葛不亮 PropertyUtilsBeanUtils
     BeanUtils.copyProperties VS  PropertyUtils.copyProperties  作为两个bean属性copy的工具类，他们被广泛使用，同时也很容易误用，给人造成困然；比如：昨天发现同事在使用BeanUtils.copyProperties copy有integer类型属性的bean时，没有考虑到会将null转换为0，而后面的业
  • [金融与信息安全]最简单的数据结构最安全 comsci 数据结构
          现在最流行的数据库的数据存储文件都具有复杂的文件头格式，用操作系统的记事本软件是无法正常浏览的，这样的情况会有什么问题呢？        从信息安全的角度来看，如果我们数据库系统仅仅把这种格式的数据文件做异地备份，如果相同版本的所有数据库管理系统都同时被攻击，那么
  • vi区段删除 Cwind linuxvi区段删除
    区段删除是编辑和分析一些冗长的配置文件或日志文件时比较常用的操作。简记下vi区段删除要点备忘。   vi概述    引文中并未将末行模式单独列为一种模式。单不单列并不重要，能区分命令模式与末行模式即可。   vi区段删除步骤： 1. 在末行模式下使用:set nu显示行号 非必须，随光标移动vi右下角也会显示行号，能够正确找到并记录删除开始行
  • 清除tomcat缓存的方法总结 dashuaifu tomcat缓存
    用tomcat容器，大家可能会发现这样的问题，修改jsp文件后，但用IE打开 依然是以前的Jsp的页面。 出现这种现象的原因主要是tomcat缓存的原因。 解决办法如下: 在jsp文件头加上 <meta http-equiv="Expires" content="0"> <meta http-equiv="kiben&qu
  • 不要盲目的在项目中使用LESS CSS dcj3sjt126com Webless
    　如果你还不知道LESS CSS是什么东西，可以看一下这篇文章，是我一朋友写给新人看的《CSS——LESS》 　　不可否认，LESS CSS是个强大的工具，它弥补了css没有变量、无法运算等一些“先天缺陷”，但它似乎给我一种错觉，就是为了功能而实现功能。 　　比如它的引用功能 ? .rounded_corners{     
  • [入门]更上一层楼 dcj3sjt126com PHPyii2
    更上一层楼 通篇阅读完整个“入门”部分，你就完成了一个完整 Yii 应用的创建。在此过程中你学到了如何实现一些常用功能，例如通过 HTML 表单从用户那获取数据，从数据库中获取数据并以分页形式显示。你还学到了如何通过 Gii 去自动生成代码。使用 Gii 生成代码把 Web 开发中多数繁杂的过程转化为仅仅填写几个表单就行。 本章将介绍一些有助于更好使用 Yii 的资源：
  • Apache HttpClient使用详解 eksliang httpclienthttp协议
    Http协议的重要性相信不用我多说了，HttpClient相比传统JDK自带的URLConnection，增加了易用性和灵活性（具体区别，日后我们再讨论），它不仅是客户端发送Http请求变得容易，而且也方便了开发人员测试接口（基于Http协议的），即提高了开发的效率，也方便提高代码的健壮性。因此熟练掌握HttpClient是很重要的必修内容，掌握HttpClient后，相信对于Http协议的了解会
  • zxing二维码扫描功能 gundumw100 androidzxing
    经常要用到二维码扫描功能 现给出示例代码 import com.google.zxing.WriterException; import com.zxing.activity.CaptureActivity; import com.zxing.encoding.EncodingHandler; import android.app.Activity; import an
  • 纯HTML+CSS带说明的黄色导航菜单 ini htmlWebhtml5csshovertree
    HoverTree带说明的CSS菜单:纯HTML+CSS结构链接带说明的黄色导航   在线体验效果：http://hovertree.com/texiao/css/1.htm代码如下,保存到HTML文件可以看到效果：   <!DOCTYPE html > <html > <head> <title>HoverTree
  • fastjson初始化对性能的影响 kane_xie fastjson序列化
    之前在项目中序列化是用thrift，性能一般，而且需要用编译器生成新的类，在序列化和反序列化的时候感觉很繁琐，因此想转到json阵营。对比了jackson，gson等框架之后，决定用fastjson，为什么呢，因为看名字感觉很快。。。   网上的说法：   fastjson 是一个性能很好的 Java 语言实现的 JSON 解析器和生成器，来自阿里巴巴的工程师开发。
  • 基于Mybatis封装的增删改查实现通用自动化sql mengqingyu DAO
    1.基于map或javaBean的增删改查可实现不写dao接口和实现类以及xml，有效的提高开发速度。 2.支持自定义注解包括主键生成、列重复验证、列名、表名等 3.支持批量插入、批量更新、批量删除 <bean id="dynamicSqlSessionTemplate" class="com.mqy.mybatis.support.Dynamic
  • js控制input输入框的方法封装(数字，中文，字母，浮点数等) qifeifei javascript js
    在项目开发的时候，经常有一些输入框，控制输入的格式，而不是等输入好了再去检查格式，格式错了就报错，体验不好。 /** 数字，中文，字母,浮点数(+/-/.) 类型输入限制，只要在input标签上加上 jInput="number,chinese,alphabet,floating" 备注：floating属性只能单独用*/     funct
  • java 计时器应用 tangqi609567707 javatimer
    mport java.util.TimerTask;   import java.util.Calendar;   public class MyTask extends TimerTask {        private static final int
  • erlang输出调用栈信息 wudixiaotie erlang
    在erlang otp的开发中，如果调用第三方的应用，会有有些错误会不打印栈信息，因为有可能第三方应用会catch然后输出自己的错误信息，所以对排查bug有很大的阻碍，这样就要求我们自己打印调用的栈信息。用这个函数：erlang:process_display (self (), backtrace).需要注意这个函数只会输出到标准错误输出。 也可以用这个函数：erlang:get_s
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他