学心理学的猫
学心理学的猫

Redis6学习笔记（万字总结_从入门到起飞）

目录

NoSQL数据库

常用五大基本数据类型

前言：Redis键（key操作）

字符串（String）

列表（List）

Set（集合）

Hash（哈希）

Zset（有序集合）

配置文件

Redis的发布与订阅

Redis6 新数据类型

Bitmaps

HyperLogLog

Geospatial

事务和锁机制

Multi、Exec、Discard

悲观锁

乐观锁

Watch、unwatch

事务三特性

Redis中两种持久化机制

RDB

Fork

配置

优点

缺点

AOF

配置

优点

缺点

总结

主从复制

基本介绍

 搭建一主两从

一主二从

主从复制原理

薪火相传

反客为主

哨兵模式

基本介绍

选举规则

复制延时

    Redis 是典型的  NoSQL 数据库，支持多种数据结构类型。设计思想是： 单线程+多路IO复用技术  Redis6学习笔记（万字总结_从入门到起飞）_第1张图片

图中例子说明：“黄牛”到“火车站”为单线程操作，同时使用多个socket链接可以使得“黄牛”一刻不停一但处理完成后就可以继续下一个任务。总结一句话就是：通过一个线程，进行拨开关的方式，来同时传输多个IO流。

NoSQL数据库

​ web2.0时代，访问量太大，CPUI和内存有巨大压力，如果还是按照单个服务器进行响应的话，显然性能是不够的，于是引出分布式架构的服务，也就是多台服务器来响应请求，使用过NoSQL数据库进行解决。

NoSQL数据库的特点：

NoSQL（ NoSQL = Not Only SQL ），意即 “不仅仅是 SQL” ，泛指非关系型的数据库。

NoSQL 不依赖业务逻辑方式存储，而以简单的 key-value 模式存储。因此大大的增加了数据库的扩展能力。

  • 不遵循 SQL 标准。
  • 不支持 ACID。
  • 远超于 SQL 的性能。

适用于的场景

  • 对数据高并发的读写；
  • 海量数据的读写；
  • 对数据高可扩展性的。

不适用的场景

  • 需要事务支持；
  • 基于 sql 的结构化查询存储，处理复杂的关系，需要即席查询。
  • 用不着sql的情况以及用了sql也不行的情况下，考虑NoSQL

常见的 NoSQL 数据库

  • Redis

    Redis6学习笔记（万字总结_从入门到起飞）_第2张图片​

  • MongoDB

  • Redis6学习笔记（万字总结_从入门到起飞）_第3张图片​

常用五大基本数据类型

前言：Redis键（key操作）

keys *：查看当前库所有 key

set key value：添加一组 k-v

exists key：判断某个 key 是否存在

type key：查看你的 key 是什么类型

del key ：删除指定的 key 数据（直接删除，而不是异步删除）

unlink key：根据 value 选择非阻塞删除，仅将 keys 从 keyspace 元数据中删除，真正的删除会在后续异步操作

expire key 10 ：为给定的 key 设置过期时间

ttl key：查看还有多少秒过期，-1表示永不过期，-2表示已过期

select：命令切换数据库

dbsize：查看当前数据库的 key 的数量

flushdb：清空当前库

flushall：通杀全部库

字符串（String）

String 类型是最基本的类型，是二进制安全的。意味着 Redis 的 string 可以包含任何数据，比如 jpg 图片或者序列化的对象，只要数据能够存储为字符串类型，redis都能通过k-v的形式存储。

String 类型是 Redis 最基本的数据类型，一个 Redis 中字符串 value 最多可以是 512M。

命令操作：

set ：添加键值对，也包含对一个key下的value进行覆盖

get ：查询对应键值

append ：将给定的  追加到原值的末尾，返回添加后的字符串长度值

strlen ：获得值的长度

setnx ：只有在 key 不存在时，才能设置 key 的值（注意与set命令的区别）

incr ：将 key 中储存的数字值增 1，只能对数字值操作，如果为空，新增值为 1（具有原子性）

decr ：将 key 中储存的数字值减 1，只能对数字值操作，如果为空，新增值为 -1

incrby/decrby <步长>：将 key 中储存的数字值增减。自定义步长

mset  ：同时设置一个或多个 key-value 对

mget ...：同时获取一个或多个 value

msetnx ...：同时设置一个或多个 key-value 对，当且仅当所有给定 key 都不存在（原子性操作，有一个失败那么就全部失败，成功返回1，反之返回0）

getrange <起始位置><结束位置>：获得值的范围（将字符串理解成一个数组，按数组序号进行取子字符串的操作）

setrange <起始位置>：用  覆写  所储存的字符串值

setex <过期时间>：设置键值的同时，设置过期时间，单位秒。（可以通过ttl key的命令，查看过期时间）

getset ：以新换旧，设置了新值同时获得旧值。

原子性

所谓 原子 操作是指不会被线程调度机制打断的操作；

这种操作一旦开始，就一直运行到结束，中间不会有任何 context switch （切换到另一个线程）。

  • 在单线程中， 能够在单条指令中完成的操作都可以认为是"原子操作"，因为中断只能发生于指令之间。（而redis是单线程的，所以redis中的操作是不会被打断的）

  • 在多线程中，不能被其它进程（线程）打断的操作就叫原子操作。

Redis 单命令的原子性主要得益于 Redis 的单线程。

列表（List）

单键多值

Redis 列表是简单的字符串列表，按照插入顺序排序。你可以添加一个元素到列表的头部（左边）或者尾部（右边）。

它的底层实际是个双向链表，对两端的操作性能很高，通过索引下标的操作中间的节点性能会较差。

lpush/rpush ....： 从左边/右边插入一个或多个值。

k1内部:  v3 v2 v1（lpush）
k1内部:  v1 v2 v3（rpush）

lpop/rpop ：从左边/右边吐出一个值。值在键在，值光键亡。

rpoplpush ：从  列表右边吐出一个值，插到  列表左边。(道理同上)

lrange ：按照索引下标获得元素（从左到右）

lrange 0 -1：左边第一个，-1右边第一个，（0 -1表示获取所有）

lindex ：按照索引下标获得元素（从左到右，从0开始到index索引值）

llen ：获得列表长度

linsert before/after ：在  的前面/后面插入  插入值

lrem ：从左边删除 n 个 value（从左到右）

lset ：将列表 key 下标为 index 的值替换成 value

数据结构

List 的数据结构为快速链表 quickList。

  • 首先在列表元素较少的情况下会使用一块连续的内存存储，这个结构是 ziplist，也即是压缩列表。

    • 它将所有的元素紧挨着一起存储，分配的是一块连续的内存。

  • 当数据量比较多的时候才会改成 quicklist。

    • 因为普通的链表需要的附加指针空间太大，会比较浪费空间。比如这个列表里存的只是 int 类型的数据，结构上还需要两个额外的指针 prev 和 next。

      Redis6学习笔记（万字总结_从入门到起飞）_第4张图片

  • Redis 将链表和 ziplist 结合起来组成了 quicklist。也就是将多个 ziplist 使用双向指针串起来使用。这样既满足了快速的插入删除性能，又不会出现太大的空间冗余。quicklist结构图如下：

Set（集合）

Set 对外提供的功能与 List 类似列表的功能。（一个key，对应一个set集合）

  • 特殊之处在于 Set 是可以 自动排重 的

  • 当需要存储一个列表数据，又不希望出现重复数据时，Set 是一个很好的选择，并且 Set 提供了判断某个成员是否在一个 Set 集合内的重要接口，这个也是 List 所不能提供的。

  • Redis 的 Set 是 String 类型的无序集合。它底层其实是一个 value 为 null 的 hash 表，所以添加，删除，查找的复杂度都是 O(1)。

一个算法，随着数据的增加，执行时间的长短，如果是 O(1)，数据增加，查找数据的时间不变。

sadd .....：将一个或多个 member 元素加入到集合 key 中，已经存在的 member 元素将被忽略

smembers ：取出该集合的所有值。

sismember ：判断集合  是否为含有该  值，有返回 1，没有返回 0

scard：返回该集合的元素个数。

srem ....：删除集合中的某个元素

spop ：随机从该集合中吐出一个值

srandmember ：随机从该集合中取出 n 个值，不会从集合中删除

smove value：把集合中一个值从一个集合移动到另一个集合（会删除该值）

sinter ：返回两个集合的交集元素

sunion ：返回两个集合的并集元素

sdiff ：返回两个集合的差集元素（key1 中的，不包含 key2 中的）

Hash（哈希）

Redis hash 是一个键值对集合。

Redis hash 是一个 String 类型的 field 和 value 的映射表，hash 特别适合用于存储对象。（ 可以理解为Java中的Map ）

hset ：给  集合中的  键赋值 

  • hset user:1001 id 1，redis允许key带 ：，可以理解为key值是 user:1001，这是为了存很多对象时，用来区分不同对象
  • hset user:1001 name zhanggsan，给 user:1001 这个key对应的对象中，添加一个name字段，值为zhangsan

hget ：从  集合  取出 value

  • hget user:1001 id，打印结果为“1”
  • hget user:1001 name，打印结果为“zhangsan”

 Redis6学习笔记（万字总结_从入门到起飞）_第5张图片

hmset ...： 批量设置 hash 的值（新版本这项命令，已经可以用hset进行实现了）

hexists ：查看哈希表 key 中，给定域 field 是否存在（1：存在，0：不存在）

 

hkeys ：列出该 hash 集合的所有 field

  • hkeys user:1001，列出这个key下所有的字段

 

hvals ：列出该 hash 集合的所有 value

hincrby ：为哈希表 key 中的域 field 的值加上增量 1 -1

Redis6学习笔记（万字总结_从入门到起飞）_第6张图片

hsetnx ：将哈希表 key 中的域 field 的值设置为 value ，当且仅当域 field 不存在

数据结构

Hash 类型对应的数据结构是两种：ziplist（压缩列表），hashtable（哈希表）。

当 field-value 长度较短且个数较少时，使用 ziplist，否则使用 hashtable。

Zset（有序集合）

Redis 有序集合 zset 与普通集合 set 非常相似，是一个没有重复元素的字符串有序集合。

不同之处是有序集合的每个成员都关联了一个评分（score）,这个评分（score）被用来按照从最低分到最高分的方式排序集合中的成员。集合的成员是唯一的，但是评分可以是重复的。

因为元素是有序的，所以可以很快的根据评分（score）或者次序（position）来获取一个范围的元素。

访问有序集合的中间元素也是非常快的，因此能够使用有序集合作为一个没有重复成员的智能列表。

zadd …：将一个或多个 member 元素及其 score 值加入到有序集 key 当中

zrange [WITHSCORES]：返回有序集 key 中，下标在  之间的元素（ 0 -1 ，表示所有）

  • 当带上 WITHSCORES 时，可以让分数一起和值返回到结果集

zrangebyscore key min max [withscores] [limit offset count]：返回有序集 key 中，所有 score 值介于 min 和 max 之间（包括等于 min 或 max ）的成员。有序集成员按 score 值递增（从小到大）次序排列。

zrevrangebyscore key max min [withscores] [limit offset count]：同上，改为从大到小排列

zincrby ：为元素的 score 加上增量

zrem ：删除该集合下，指定值的元素

zcount ：统计该集合，分数区间内的元素个数

zrank ：返回该值在集合中的排名，从 0 开始。

数据结构

SortedSet（zset）是 Redis 提供的一个非常特别的数据结构，一方面它等价于 Java 的数据结构 Map，可以给每一个元素 value 赋予一个权重 score，另一方面它又类似于 TreeSet，内部的元素会按照权重 score 进行排序，可以得到每个元素的名次，还可以通过 score 的范围来获取元素的列表。

zset 底层使用了两个数据结构

  • hash，hash 的作用就是关联元素 value 和权重 score（通过key值，能够找到关联的value和score），保障元素 value 的唯一性，可以通过元素 value 找到相应的 score 值

  • 跳跃表，跳跃表的目的在于给元素 value 排序，根据 score 的范围获取元素列表

Redis6学习笔记（万字总结_从入门到起飞）_第7张图片

配置文件

**Redis 的配置文件位于 Redis 安装目录下，文件名为 ** redis.conf (Windows 名为 redis.windows.conf)。

网络相关配置。

##bind##

默认情况 bind=127.0.0.1 只能接受本机的访问请求。

不写的情况下，无限制接受任何 ip 地址的访问。

生产环境肯定要写你应用服务器的地址，服务器是需要远程访问的，所以需要将其注释掉。

如果开启了protected-mode，那么在没有设定 bind ip 且没有设密码的情况下，Redis 只允许接受本机的响应

##protected-mode##

将本机访问保护模式设置 no。

##port##

端口号，默认 6379

##tcp-backlog##

设置 tcp 的 backlog，backlog 其实是一个连接队列，backlog 队列总和 $=$ 未完成三次握手队列 $+$ 已经完成三次握手队列。

在高并发环境下你需要一个高 backlog 值来避免慢客户端连接问题。

##timeout##

一个空闲的客户端维持多少秒会关闭，0 表示关闭该功能。即永不关闭。

##tcp-keepalive##

对访问客户端的一种心跳检测，每个 n 秒检测一次。（默认是300s检测一次）

单位为秒，如果设置为 0，则不会进行 Keepalive 检测。

##daemonize##

是否为后台进程，设置为 yes。

守护进程，后台启动。

##pidfile##

存放 pid 文件的位置，每个实例会产生一个不同的 pid 文件。

##loglevel##

指定日志记录级别，Redis 总共支持四个级别：debug、verbose、notice、warning，默认为 notice。

##logfile##

日志文件名称。

##database##

设定库的数量 默认16，默认数据库为 0，可以使用 SELECT  命令在连接上指定数据库 id。

##maxmemory##

建议必须设置，否则，将内存占满，造成服务器宕机。

设置 redis 可以使用的内存量。一旦到达内存使用上限，redis 将会试图移除内部数据，移除规则可以通过 maxmemory-policy 来指定。

如果 redis 无法根据移除规则来移除内存中的数据，或者设置了不允许移除，那么 redis 则会针对那些需要申请内存的指令返回错误信息，比如 SET、LPUSH 等。

但是对于无内存申请的指令，仍然会正常响应，比如 GET 等。如果你的 redis 是主 redis（ 说明你的 redis 有从 redis ），那么在设置内存使用上限时，需要在系统中留出一些内存空间给同步队列缓存，只有在你设置的是“不移除”的情况下，才不用考虑这个因素。

##maxmemory-policy##

volatile-lru：使用 LRU 算法移除 key，只对设置了过期时间的键（最近最少使用）。

allkeys-lru：在所有集合 key 中，使用 LRU 算法移除 key。

volatile-random：在过期集合中移除随机的 key，只对设置了过期时间的键。

allkeys-random：在所有集合 key 中，移除随机的 key。

volatile-ttl：移除那些 TTL 值最小的 key，即那些最近要过期的 key。

noeviction：不进行移除。针对写操作，只是返回错误信息。

##maxmemory-samples##

设置样本数量，LRU 算法和最小 TTL 算法都并非是精确的算法，而是估算值，所以你可以设置样本的大小，redis 默认会检查这么多个 key 并选择其中 LRU 的那个。

一般设置 3 到 7 的数字，数值越小样本越不准确，但性能消耗越小。

Redis的发布与订阅

Redis 发布订阅（ pub/sub ）是一种消息通信模式：发送者（ pub ）发送消息，订阅者（ sub ）接收消息。

Redis 客户端可以订阅任意数量的频道。

Redis6学习笔记（万字总结_从入门到起飞）_第8张图片

发布者可以建立许多个频道进行消息的发送（如上图频道1、频道2、频道3），供订阅者进行接收和监听消息。

  1. 客户端可以订阅频道
  2. Redis6学习笔记（万字总结_从入门到起飞）_第9张图片

  1. 当给这个频道发布消息后，消息就会发送给订阅的客户端
  2. Redis6学习笔记（万字总结_从入门到起飞）_第10张图片

发布订阅命令行实现

  1. 打开一个客户端订阅channel1
  • subscribe channel1
  1. 打开另一个客户端，给channel1发布消息hello

  • publish channel1 hello

  • 返回的数字表示：订阅者的数量、

  1. 打开第一个客户端可以看到发送的信息

Redis6学习笔记（万字总结_从入门到起飞）_第11张图片

Redis6 新数据类型

Bitmaps

Redis6学习笔记（万字总结_从入门到起飞）_第12张图片

  • 将 Bitmaps 数据类型理解为一个数组，每个单位只存储0和1

实例：

Redis6学习笔记（万字总结_从入门到起飞）_第13张图片

  • getbit ：获取Bitmaps中某个偏移量的值
  • bitcount [start end]：统计字符串被设置为1的bit数，start end可以指定范围，且可以使用负数值，例如：-1表示最后一个位，-2表示倒数第二个位置（从0开始....）
  • bitop and(or/not/xor) [key...]：复合操作，可以做多个Bitmaps的交集、并集等操作，并将结果保存在destkey中
    • 例如：bitop and users:1 users:2 users:3，将users:2与users:3的交集结果存放到key为users:1的值中

Bitmaps与set对比

Redis6学习笔记（万字总结_从入门到起飞）_第14张图片

HyperLogLog

Redis6学习笔记（万字总结_从入门到起飞）_第15张图片

基数：{1，2，2，3，4，5} 去重后是{1，2，3，4，5} 基数就是5

命令操作：

  1. pfadd [element...]：添加指定元素到HyperLogLog中，执行命令后，若基数发生变化则返回1，否则返回0

     

  2. pfcount [key...]：计算基数值

     

  3. pfmerge [其中，sourcekey可以为多个]：将多个HyperLogLog数据类型进行合并，例子比如将月活跃用户数与日活跃用户数进行合并，就可以使用pfcount进行统计基数 

 Redis6学习笔记（万字总结_从入门到起飞）_第16张图片

Geospatial

Redis6学习笔记（万字总结_从入门到起飞）_第17张图片

Redis6学习笔记（万字总结_从入门到起飞）_第18张图片

Redis6学习笔记（万字总结_从入门到起飞）_第19张图片

Redis6学习笔记（万字总结_从入门到起飞）_第20张图片

Redis6学习笔记（万字总结_从入门到起飞）_第21张图片

事务和锁机制

Redis 事务是一个单独的隔离操作：事务中的所有命令都会序列化、按顺序地执行。事务在执行的过程中，不会被其他客户端发送来的命令请求所打断。

Redis 事务的主要作用就是串联多个命令防止别的命令插队。

Multi、Exec、Discard

Redis6学习笔记（万字总结_从入门到起飞）_第22张图片​

Multi

Exec

Discard

从输入 Multi 命令开始，输入的命令都会依次进入命令队列中，但不会执行，直到输入 Exec 后，Redis 会将之前的命令队列中的命令依次执行。

组队的过程中可以通过 Discard 来放弃组队。

​ Redis的事务就是：先使用multi进行命令的添加（组队过程），组队完毕后，使用exec进行执行，这个执行过程不能被其他命令打断（相当于事务执行的过程），如果要中止，就使用discard命令（类似于回滚操作）。

  • multi开启组队，输入命令；组队成功，exec执行事务，执行完毕，事务结束Redis6学习笔记（万字总结_从入门到起飞）_第23张图片

  • 放弃组队Redis6学习笔记（万字总结_从入门到起飞）_第24张图片

  • 组队中有命令错误，不会执行Redis6学习笔记（万字总结_从入门到起飞）_第25张图片

  • 组队中不报错，执行时报错Redis6学习笔记（万字总结_从入门到起飞）_第26张图片

悲观锁

悲观锁（Pessimistic Lock），即每次去拿数据的时候都认为有其他线程会修改，所以每次在拿数据的时候都会上锁，这样其他线程想要拿到这个数据就会被 block 直到释放锁后，成功拿到锁。（效率低，操作之前先上锁）

乐观锁

乐观锁（Optimistic Lock），即每次去拿数据的时候都认为其他线程不会修改，所以不会上锁，但是在更新的时候会判断，在此期间有没有其他线程去更新这个数据，可以使用版本号控制等机制。

乐观锁适用于多读的应用类型，这样可以提高吞吐量。

Redis 就是利用这种 check-and-set 机制实现事务的。

Watch、unwatch

在执行 multi 之前，先执行 watch key1 [key.....]，可以监视一个（或多个 ）key 。如果在事务执行之前，这个 key 被其他命令所改动，那么事务将被打断。（类似于上锁，一旦发现watch的这个key被修改了，那么自己的exec操作就会中断）

取消 WATCH 命令对所有 key 的监视：如果在执行 WATCH 命令之后，EXEC 命令或 DISCARD 命令先被执行，那么就不需要再执行 UNWATCH 。Redis6学习笔记（万字总结_从入门到起飞）_第27张图片

事务三特性

  • 单独的隔离操作

    事务中的所有命令都会序列化、按顺序地执行。事务在执行的过程中，不会被其他客户端发送来的命令请求所打断。

  • 没有隔离级别的概念

    队列中的命令没有提交之前都不会实际被执行，因为事务提交前任何指令都不会被实际执行。

  • 不保证原子性

    事务中如果有一条命令执行失败，其后的命令仍然会被执行，没有回滚 。

模拟秒杀

 Controller层

package com.hubin.controller;


import com.hubin.service.RedisService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Controller;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

import java.util.Random;
import java.util.UUID;

@RestController
public class RedisController {

    @Autowired
    RedisService redisService;

    @RequestMapping("/test")
        public String seckilll(){
        String mid = UUID.randomUUID().toString().replace("-", "");
        String proId=UUID.randomUUID().toString().replace("-","");

        String doseekill = redisService.doseekill(mid, proId);
        return doseekill;
    }
}

service层

package com.hubin.service.impl;


import com.hubin.service.RedisService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.dao.DataAccessException;
import org.springframework.data.redis.core.RedisOperations;
import org.springframework.data.redis.core.SessionCallback;
import org.springframework.data.redis.core.StringRedisTemplate;
import org.springframework.stereotype.Service;

import java.util.List;

@Service
public class RedisServiceImpl   implements RedisService {

    @Autowired
//    StringRedisTemplate redisTemplate;
    StringRedisTemplate redisTemplate;

    @Override
    public String doseekill(String mid, String proId) {
        redisTemplate.setEnableTransactionSupport(true);
        //1.判断非空
        //略
        //2.拼接key
        String midKey="sk:"+mid+"user";
        String proKey="sk:"+proId+"pro";

        List execute = redisTemplate.execute(new SessionCallback>() {
            @Override
            public List execute(RedisOperations redisOperations) throws DataAccessException {
                redisTemplate.watch("ware");
                String ware = redisTemplate.opsForValue().get("ware");
                //4.获取库存如果没有，则还么开始
                if (ware == null) {
                    System.out.println("还没开始");
                    return null;
                }
                //5.判断用户是否在重复秒杀操作
                String s = redisTemplate.opsForValue().get(midKey);
                if (s != null) {
                    System.out.println("该用户已经秒杀过了");
                    return null;
                }

                //6如果没有货物了则秒杀结束
                if (Integer.parseInt(ware) < 1) {
                    System.out.println("货物已经销售完毕");
                    return null;
                }
                //7秒杀
                redisOperations.multi();
                redisOperations.opsForValue().decrement("ware");
                redisOperations.opsForValue().set(midKey, proKey);
                return redisOperations.exec();
            }
        });
        if(execute!=null&&execute.size()!=0){
            System.out.println(execute);
            System.out.println("秒杀成功");
            return "秒杀成功";
        }
        return "秒杀失败";
    }
}


html





    
    Title


        

            
        






超卖情况


Redis6学习笔记（万字总结_从入门到起飞）_第28张图片


Redis6学习笔记（万字总结_从入门到起飞）_第29张图片








Redis中两种持久化机制


两种持久化机制，RDB和AOF，简单来说就是存数据使用的哪种机制，默认是使用RDB(Redis DataBase)。






RDB


Redis DataBase


​ 在指定的时间间隔内将内存中的 数据集快照 写入磁盘，即 Snapshot 快照，恢复时是将快照文件直接读到内存里。


​ 周期性地进行持久化的操作






Redis 会单独创建一个子进程（fork）来进行持久化。


Redis6学习笔记（万字总结_从入门到起飞）_第30张图片


底层执行过程：先将数据写入到一个临时文件中，待持久化过程完成后（同步过程完成），再将这个临时文件内容覆盖到 dump.rdb（持久化文件）。


    

  • 整个过程中，主进程是不进行任何 IO 操作的，这就确保了极高的性能。
    • 

  • 为什么要先同步到文件临时区域而不直接同步到rdb中？若同步过程中发生异常情况中断，不会导致数据库中的数据发生损坏，待同步过程完成后，用临时文件替代这个持久化的文件，保证了数据的完整性和一致性。
    • 

  • 如果需要进行大规模数据的恢复，且对于数据恢复的完整性不是非常敏感，那 RDB 方式要比 AOF 方式更加的高效。
    • 



RDB 的缺点是最后一次持久化后的数据可能丢失。


Fork


    

  •  
    Redis进程执行fork操作创建子进程，RDB持久化过程由子进程负责，完成后自动结束。阻塞只发生在fork阶段，一般时间很短。
     
    • 

  •  
    作用是复制一个与当前进程一样的进程。新进程的所有数据（变量、环境变量、程序计数器等） 数值都和原进程一致，但是是一个全新的进程，并作为原进程的子进程
     
    • 

  •  
    在 Linux 程序中，fork() 会产生一个和父进程完全相同的子进程，但子进程在此后多会 exec 系统调用，出于效率考虑，Linux 中引入了 写时复制技术
     
    • 

  •  
    一般情况父进程和子进程会共用同一段物理内存，只有进程空间的各段的内容要发生变化时，才会将父进程的内容复制一份给子进程
     
    • 



配置




dump 文件名字


在 redis.conf 中配置文件名称，默认为 dump.rdb。




dump 保存位置


rdb 文件的保存路径可以修改。默认为 Redis 启动时命令行所在的目录下。Redis6学习笔记（万字总结_从入门到起飞）_第31张图片




stop-writes-on-bgsave-error


即当 redis 无法写入磁盘，关闭 redis 的写入操作。推荐yesRedis6学习笔记（万字总结_从入门到起飞）_第32张图片




rdbcompression


持久化的文件是否进行压缩存储。


 




rdbchecksum


完整性的检查，即数据是否完整性、准确性。


Redis6学习笔记（万字总结_从入门到起飞）_第33张图片




save


表示写操作的次数。Redis6学习笔记（万字总结_从入门到起飞）_第34张图片






格式：save 秒 写操作次数







优点


    

  • 适合大规模的数据恢复；
    • 

  • 对数据完整性和一致性要求不高更适合使用；
    • 

  • 节省磁盘空间；
    • 

  • 恢复速度快。
    • 

  • redis主进程会fork()一个子进程来处理所有保存工作，主进程不需要进行任何磁盘IO操作
    • 



缺点


    

  • Fork 的时候，内存中的数据被克隆了一份，大致 2 倍的膨胀性需要考虑；
    • 

  • 虽然 Redis 在 fork 时使用了写时拷贝技术，但是如果数据庞大时还是比较消耗性能；
    • 

  • 在备份周期在一定间隔时间做一次备份，所以如果还没到达指定备份时间间隔的时候，Redis 意外 down 掉的话，就会丢失最后一次快照后的所有修改，数据发生了丢失。
    • 





AOF


Append Only File


​ 以日志的形式来记录每个写操作（增量保存），将 Redis 执行过的所有写指令记录下来（读操作不记录）， 只许追加文件但不可以改写文件（可能是使用的redo和undo日志恢复？）。Redis 启动之初会读取该文件重新构建数据，换言之，如果 Redis 重启就会根据日志文件的内容将写指令从前到后执行一次，以完成数据的恢复工作。


​ 一种使用追加方式记录数据的方法




执行流程


    

  •  
    客户端的请求写命令会被 append 追加到 AOF 缓冲区内；
     
    • 

  •  
    AOF 缓冲区根据 AOF 持久化策略 [always,everysec,no] 将操作 sync 同步到磁盘的 AOF 文件中；
     
    • 

  •  
    AOF 文件大小超过重写策略或手动重写时，会对 AOF 文件 Rewrite 重写，压缩 AOF 文件容量；
     
    • 

  •  
    Redis 服务重启时，会重新 load 加载 AOF 文件中的写操作达到数据恢复的目的。
     
    • 



AOF 和 RDB 同时开启时，系统默认读取 AOF 的数据（数据不会存在丢失）


配置


redis.conf中配置开启aof，默认生成的aof配置文件为appendonly.aof，与rdb文件路径一致（启动路径）。




AOF 默认不开启 （RDB默认开启）


    

  • Redis6学习笔记（万字总结_从入门到起飞）_第35张图片若AOF和RDB同时开启，系统默认读取AOF的数据（数据不会存在丢失）。
    • 



 文件名字






AOF 同步频率设置


Redis6学习笔记（万字总结_从入门到起飞）_第36张图片




appendfsync always


​ 始终同步，每次 Redis 的写入都会立刻记入日志；


​ 性能较差但数据完整性比较好。


appendfsync everysec


​ 每秒同步，每秒记入日志一次，如果宕机，本秒的数据可能丢失。


appendfsync no


​ Redis 不主动进行同步，把同步时机交给操作系统。


Rewrite 压缩


当 AOF 文件的大小超过所设定的阈值时，Redis 就会启动 AOF 文件的内容压缩，只保留可以恢复数据的最小指令集。可以使用命令 bgrewriteaof。


Redis6学习笔记（万字总结_从入门到起飞）_第37张图片






优点


    

  • 备份机制更稳健，丢失数据概率更低；
    • 

  • 可读的日志文本，通过操作 AOF 稳健，可以处理误操作。
    • 



缺点


    

  • 比起 RDB 占用更多的磁盘空间（不仅记录数据还要记录操作）；
    • 

  • 恢复备份速度要慢；
    • 

  • 每次读写都同步的话，有一定的性能压力；
    • 

  • 存在个别 Bug，造成不能恢复。
    • 



总结




官方推荐两个都启用。


如果对数据不敏感（允许数据有部分丢失），可以选单独用 RDB。


不建议单独用 AOF，因为可能会出现 Bug。


如果只是做纯内存缓存，可以都不用。






主从复制


基本介绍


​ 主机数据更新后根据配置和策略， 自动同步到备机的 master/slaver 机制，Master 以写为主，Slaver 以读为主，即主服务器承担写操作，复制的若干 从服务器 则承担读操作。






Redis6学习笔记（万字总结_从入门到起飞）_第38张图片​




特点：


    

  1.  
    读写分离，性能扩展
     
    2. 



Redis6学习笔记（万字总结_从入门到起飞）_第39张图片​​编




    2.容灾快速恢复


         1.某个从服务器发生故障，那么会快速切换到另一个从服务器中，不影响读操作的进行


     3.一主多从


          1.只有一台主服务器，供其他从服务器进行复制


 搭建一主两从


1.完全复制一份一摸一样的redis文件夹（作为从服务器）


2.修改第二份里面的redis.windows.conf里面的port，将其修改为与主服务器不一样的端口


3.在从文件夹里面的redis.windows.conf里面添加一句slaveof 127.0.0.1 6379（这里的6379是我主服务器的端口号）这个配置是为了让从服务器找到主服务器（不在配置文件里面加直接在黑从客户


端的黑窗口中直接输入也可以）。


4.依次先启动主服务器=>从服务器=>主客户端=>从客户端，使用info命令查看当前服务器主从状态


       注意：1.在启动从客户端的时候要以黑窗口形式启动并且指定配置文件不然启动无效。​


 2.启动从客户端的时候指定启动的端口号不然会启动为主客户端 ​ 


           




一主二从


特点：




主机 6379，从机 6380 和 6381。


    

  1.  
    假设从机 6380 挂掉。（从机挂掉）
    

      

    • 当6380重启后，6380不再是6379的从机，而是作为新的master；（从机重启后，不再是某个主机的从机，其自身就是一个主机）
      • 

    • 当再次把6380作为6379的从机加入后，从机才会把数据从头到尾复制。（从机重启后，需要再输入成为从机的指令）
      • 

    2. 

  2.  
    假设主机 6379 挂掉。（主机挂掉）
    

      

    • 6380和6381仍然是6379的从机，不会做任何事；（从机不会改变）
      • 

    • 当6379重启后，既然是主服务器。（主机重启后，还是主机）
      • 

    3. 





主从复制原理


完整版：


    

  •  
    slave 启动成功连接到 master 后会发送一个 sync 命令（同步命令）。
     
    • 

  •  
    master 接到命令启动后台的存盘进程，对数据进行持久化操作，同时收集所有接收到的用于修改数据集命令，在后台进程执行完毕之后，master 将传送整个数据文件（rdb）到 slave，以完成一次完全同步。
     
    • 

  •  
    当主服务进行写操作后，和从服务器进行数据同步。
     
    • 

  •  
    全量复制：而 slave 服务在接收到数据库文件数据后，将其存盘并加载到内存中。
     
    • 

  •  
    增量复制：master 继续将新的所有收集到的修改命令依次传给 slave，完成同步。
     
    • 

  •  
    只要是重新连接 master，一次完全同步（全量复制）将被自动执行。
     
    • 





全量复制：是从机主动去请求主机进行同步操作，是一开始连接的时候


增量复制：主机进行一次写操作之后，就主动同步从机




简洁版 


Redis6学习笔记（万字总结_从入门到起飞）_第40张图片​




薪火相传


​ 上一个 slave 可以是下一个 slave 的 master（从机是另一个从机的主机，并由这个担任主机的从机，进行数据同步），slave 同样可以接收其他 slave的连接和同步请求，那么该 slave 作为了链条中下一个的 master，可以有效减轻 master 的写压力，去中心化降低风险。




slaveof  





    

  •  
    特点与一主二从类似
     
    • 

  •  
    中途变更转向：会清除之前的数据，重新建立拷贝最新的。
     
    • 

  •  
    当某个担任主机的 slave 宕机，其挂在后面的 slave 都没法备份。
    

      

    • 即当主机挂掉，从机还是从机，但是无法继续写数据。
      • 

    • 



反客为主


当一个 master 宕机后，后面的 slave 可以立刻升为 master，其后面的 slave 不用做任何修改。（需要手动完成，如果不手动执行的话，那么从机没有任何动作，主机重新启动后，还依旧是主机


        


哨兵模式


基本介绍


反客为主的自动版，即能够后台监控主机是否故障，如果故障了根据投票数自动将从库转换为主库。


    

  1. 创建 sentinel.conf 文件
    2. 





/opt/etc/sentinel.conf





    

  1. 配置哨兵
    2. 





sentinel monitor mymaster 172.16.xx.xxx 6379 1

# mymaster：给监控对象起的服务器名称
# 1：至少有多少个哨兵同意迁移的数量





    

  1. 启动哨兵
    2. 





redis-sentinel  /opt/etc/sentinel.conf 







Window版下为:redis-server.exe sentinel.conf --sentinel




主机挂掉，哨兵监控到之后，会按照选举规则，从 从机 中选举中产生新的主机，原来挂掉的主机会变成新主机的从机。


 Redis6学习笔记（万字总结_从入门到起飞）_第41张图片​ 


选举规则


选择条件依次为：Redis6学习笔记（万字总结_从入门到起飞）_第42张图片​


    

  •  
    根据优先级别，slave-priority/replica-priority，优先选择优先级靠前的。（越小优先级越高）Redis6学习笔记（万字总结_从入门到起飞）_第43张图片​
     
     
    • 

  •  
    根据偏移量，优先选择偏移量大的。（偏移量是指获得原主机数据最全的）
     
    • 

  •  
    若前两个条件相同，那么选择 runid 最小的，优先选择最小的服务
    

      

    • 每个redis实例启动后，都会随机生成一个40位的runid
      • 

    • 



复制延时


​ 由于所有的写操作都是先在 master 上操作，然后同步更新到 slave 上，所以从 master 同步到 slave 从机有一定的延迟，当系统很繁忙的时候，延迟问题会更加严重，slave 机器数量的增加也会使这个问题更加严重。



























你可能感兴趣的:(redis,学习,数据库)






    

  • 为什么wal会 提升数据库性能
浩澜大大
数据库

    由于对于一个数据库内会存在很多张表，那么当数据库更新表数据时（1）直接写入磁盘实际写入的位置，会根据表的不同对应到不同的磁盘位置，在写入数据的时候，就会不停的寻找磁盘地址，找到地址后再去写入，对于机械硬盘来说，无规律的寻址是非常耗时的，对应SSD来说虽然性能提升很多，但是也会消耗时间；（2）先写入日志，在写入磁盘（WAL）WAL的过程，由于总是按照在文件末尾追加，只要找到文件写入位置，写入修改后，
    

    • 

  • 【Python】一文详细介绍 py格式 文件
高斯小哥
Python基础【高质量合集】python新手入门学习

    【Python】一文详细介绍py格式文件个人主页：高斯小哥高质量专栏：Matplotlib之旅：零基础精通数据可视化、Python基础【高质量合集】、PyTorch零基础入门教程希望得到您的订阅和支持~创作高质量博文(平均质量分92+)，分享更多关于深度学习、PyTorch、Python领域的优质内容！（希望得到您的关注~）文章目录一、py格式文件简介二、如何创建和编辑py格式文件三、如何运行py
    

    • 

  • 大学播音主持都学什么内容？播音主持专业学什么？
配音新手圈

    有些喜欢播音主持并且犹豫要不要报考这个大学专业的小伙伴们就会想要了解大学播音主持都学什么内容吧，毕竟如果不够了解就直接选择这个专业真的等选择完进去学习以后才知道这个专业并不是自己想要学习的东西那就来不及了。下面是小编为大家整理出来的一些播音主持专业学习的内容，请往下看吧。大学播音主持专业主要学习的课程有：播音发声、播音创作基础、广播播音主持、电视播音主持、文艺作品演播学概论、新闻学概论、新闻采编、
    

    • 

  • 通俗易懂：MySQL中如何设置只读实例并确保数据一致性？
大龄下岗程序员
mysqljavamysqlspring

    在MySQL中设置只读实例主要应用于构建高可用性和扩展性的数据库环境，通常是为了分担读取负载或者用于备份和灾难恢复。以下是创建MySQL只读实例并确保数据一致性的基本步骤：1.创建并配置只读实例-主从复制设置-首先，你需要有一个主数据库实例（Master）负责接收所有的写操作。-创建一个或多个从数据库实例（Slave），并将它们配置为主数据库的复制品。这通常通过设置主从复制（Replication
    

    • 

  • 新网师的精神肤色（幕布笔记）
悦读书香

    王子老师的《极简100小妙招》收到已经几天了，之前大概的浏览了全书，今天起给自己定了一个计划，必须每天学习极简小妙招里面的一个妙招，并加以运用。一、今天要打卡什么内容因有完成每天学习极简小妙招的计划，所以今天晚饭吃的比较简单，草草吃完以后带着小宝到广场溜达一圈，急忙赶回来学习极简小妙招。再重看的时候不知道自己要学点什么，打卡哪一招，感觉哪个都简单，就看这一环节像王子老师说的“一看就会”，但做这一环
    

    • 

  • 学习JavaEE的日子 Day32 线程池
A 北枝
学习JavaEE学习java-eejava线程池

    Day32线程池1.引入一个线程完成一项任务所需时间为：创建线程时间-Time1线程中执行任务的时间-Time2销毁线程时间-Time32.为什么需要线程池(重要)线程池技术正是关注如何缩短或调整Time1和Time3的时间，从而提高程序的性能。项目中可以把Time1，T3分别安排在项目的启动和结束的时间段或者一些空闲的时间段线程池不仅调整Time1，Time3产生的时间段，而且它还显著减少了创建
    

    • 

  • 没有如释重负
君远近

    虽然只有短短的一个多月的努力复习时间，但今天的整个考试经过，还是发现了效果的，题目做的比较自如，没有慌里慌张，而且提前五分钟完成。至于考试成绩，没有实足的把握，60分都不敢保证。但绝对相信自己，比去年肯定要好！今天早早的赶到考场，见到了刘老师，谈起来学习情况，坦率的说，真的是自己不够重视。总以为会很难，没有信心。其实不是的，只要认真对待，树立足够的信心，绝对可以通过考试的。还向老师询问了，后续再报
    

    • 

  • C++学习笔记（lambda函数）
__TAT__
C&C++c++学习笔记

    C++learningnote1、lambda函数的语法2、lambda函数的几种用法1、lambda函数的语法lambda函数的一般语法如下：[capture_clause](parameters)->return_type{function_body}capture_clause：需要捕获的变量，但要求该变量必须在这个作用域中。通常的捕获方式有以下几种：[]：不捕获任何变量[&]：按引用捕获变
    

    • 

  • 心赏（2018.10.8）
六一节_3928

    1.上班第一天，同事彤休完产假，回来上班，给我带了酸奶和水果。她生小孩时，我给她发了一个小红包贺喜，哪知她就记在心里了。心赏这个有心的90后。2.女儿放学回来，说自己当了小组长。一边说不想当，一边得意的样子。心赏老师给了孩子这个锻炼的机会。3.老妈今天做了"蚂蚁上树"的菜，得到女儿的高度肯定。心赏老妈还在不断学习。
    

    • 

  • C#中的PLINQ和LINQ的效率对比
搬砖的诗人Z
C#c#linq开发语言

    PLINQ（ParallelLINQ）和LINQ（LanguageIntegratedQuery）都是.NET框架中的功能，用于对集合进行查询和操作。它们之间的主要区别在于并行处理能力。LINQ:LINQ是一种用于在.NET应用程序中进行数据查询和操作的语言集成功能。它提供了一种统一的方式来查询各种数据源，如集合、数组、XML、数据库等。LINQ是在单线程环境中执行查询操作的，因此对于大型数据集或
    

    • 

  • 2022-2-13晨间日记
越亮也打烊

    今天是什么日子起床：7:00就寝：12:08天气：晴心情：糟糕纪念日：无任务清单昨日完成的任务，最重要的三件事：寒假作业，网课，画画改进：作业时间剪短习惯养成：网课不逃～周目标·完成进度数学卷子100％学习·信息·阅读《傅雷家书》《钢铁是怎样炼成的》健康·饮食·锻炼我终于不喝饮料啦，喝茶～人际·家人·朋友邝姐姐带我吃火锅工作·思考啥时候开学，我还有几天赶完作业最美好的三件事1.卷子写完了2.我有冰
    

    • 

  • 中原焦点团队38期王芳芳坚持分享第236天，20230630总约练134次，来访113次，咨8次，观察员13次
芳芳王

    学习焦点的初心是想拯救孩子，孩子由于沉迷游戏，成绩下滑，在学习的过程中发现是自己的教育方式出了状况。经过半年的学习，一些焦点的基本技巧，如接纳、欣赏、倾听、同理心、尊重等都有了一定的了解。但在实际应用时仍然存在很多问题，感觉自己仍然没有放下对孩子成绩的期望，仍然把握不住对孩子管理的度。我该如何去陪伴好孩子？多用心去听课，并加强反思，多约练。去思考如何让自己快乐起来？
    

    • 

  • Redis和MySQL的数据一致性问题思考
爱放火的安小妮
RedisMySQL思考总结redismysql数据库

    Redis和MySQL的数据一致性问题思考最近有在反思自己工作。因为自己这边是面向业务的，而且是和商品数据相关的。所以我平时工作中涉及到的最多的就是MySQL和Redis的数据存储。像我们配置商品是把商品配置到MySQL，但是对外toC接口都是直接读取Redis的。所以自然而然就涉及到MySQL和Redis的数据一致性问题。下面就是聊聊我自己对于这个问题的一个思考吧。有问题或者有更好方案的朋友也希
    

    • 

  • 大创项目推荐 深度学习 opencv python 公式识别(图像识别 机器视觉)
laafeer
python

    文章目录0前言1课题说明2效果展示3具体实现4关键代码实现5算法综合效果6最后0前言优质竞赛项目系列，今天要分享的是基于深度学习的数学公式识别算法实现该项目较为新颖，适合作为竞赛课题方向，学长非常推荐！学长这里给一个题目综合评分(每项满分5分)难度系数：3分工作量：4分创新点：4分更多资料,项目分享：https://gitee.com/dancheng-senior/postgraduate1课题
    

    • 

  • #D174-读书会作业-《财务自由之路》3
白洲笔记

    最近沉迷于写作营，一直就没时间去弄读书会的作业，书的第二遍也就看了个开头，趁着日更的时间，赶紧把作业做了，这次是15到21课。【1.印象最深刻的部分】(本周所读内容中印象最深刻的部分)*活在未来，最正确的方法是什么？用正确的方法做正确的事情，判断什么是正确的？逻辑。学会思考。"作对事情"永远比“把事情作对“重要的多。”长远思考，耐心验证，小心总结提炼“证明自己正确并不是学习的任务和目标，时刻成长，
    

    • 

  • docker怎么端口映射
Lance_mu
docker容器运维

    1、默认固定的端口#Web服务器：WebApache或Nginx通常使用80端口HTTP：80HTTPS：443#数据库服务器MySQL：3306PostgreSQL：5432MongoDB：27017Redis：6379#邮件服务器SMTP：25POP3：110IMAP：143#其他服务SSH：22FTP：21DNS（域名解析）：53代理服务器Squid：3128版本控制系统Git：9418(S
    

    • 

  • 新注册的阿里云账号有哪些优惠？阿里云新用户必看优惠大合集
阿里云最新优惠和活动汇总

    很多用户看到阿里云各种活动中的云服务器、云数据库、企业邮箱等云产品都仅限新用户购买之后，都纷纷直接注册了阿里云新账号之后购买，其实，阿里云新用户不仅可以优惠购买活动中的各种云产品，还有很多优惠，下面是“阿里云最新优惠和活动汇总”整理汇总的阿里云新用户必看优惠大合集。新注册的阿里云账号在购买活动中的云产品之前，还有免费领云产品通用代金券、抽取无门槛代金券、免费试用云服务器和正式购买云服务器等阿里云产
    

    • 

  • 账务处理又出错？资深会计来教你，学会效率翻倍！共同学习
小橘子要努力吖

    作为一名会计，在实际工作中会遇到各种麻烦的账务处理问题。那么，最常用的会计处理方法都有哪些呢？今天小编为大家带来了从业二十六年的资深老会计分享的十四中会计常用的账务处理问题的解决方案，快来看看吧！一、促销品的账务处理在促销时公司经常会把一些商品按进价赠送给消费者使用二、款已付清但发票未到的账务处理三、购买材料发生不合理损耗的账务处理问题公司在购买材料时，常常会发生一些不合理的损耗，那么这种问题该怎
    

    • 

  • 【真诚子】通晓鬼谷第七篇读书日记。
真诚子l通晓鬼谷

    今天把个人品牌，从193读到208页，书的内容质量出奇的高，尤其是这一段。对标学习法，找一个比自己强，或者你期望成为的人进行模仿性学习，对标学习，不是到处，去找人对标兵学习很多人的优点，或是学习自己认为好的方面，而是找准一个对标高手，然后全方位的学习这个人。我在做品牌咨询时就对标，学习了一个在国内很有名的行业顶尖大咖。我先找到他公司的方案，进行完全模仿，连PPT的排版都一样，而且我只参照他一个人的
    

    • 

  • ES-LTR粗排模块
poins
jenkins运维

    ES-LTR粗排模块官方资源：https://github.com/HeiBoWang/elasticsearch-learning-to-rankElasticsearch学习排名插件使用机器学习提高搜索相关性排名。它为维基媒体基金会和Snagajob等地方的搜索提供了动力！这个插件有什么功能此插件：允许您在Elasticsearch中存储特征（Elasticsearch查询模板）记录特征得分（
    

    • 

  • 2018-11-18成长小组学习笔记
实验中学45

    因为嗓子“罢工”，我面对众人只能借“微笑”代言。在开始授课前，绣霞老师先反馈上次作业的情况，提到“接纳”需是真正发自内心的完全接纳，而不是口头上的接纳，内心却是排斥的。提到一个“问题”孩子恰恰对家爱的更加“深沉”，夫妻间的问题不能影响到孩子，对孩子更好的爱不是你为他做的更多，而是给他自由、健康成长的空间。图片发自App一、孩子：家庭的一面镜子夫妻成了彼此的“投射”，婚姻便“吵的不可开交”，婚姻便成
    

    • 

  • MyBatis高级面试题-2024
my_styles
mybatisjava开发语言面试题

    MyBatis的核心组件有哪些？首先第一个是，SqlSessionFactory，它就像是一个会话工厂。它的任务是创建SqlSession对象，这个对象是我们与数据库交互的主要途径。SqlSessionFactory的作用很重要，因为它可以帮我们配置数据库连接信息和事务管理等。一旦这个工厂被建立起来，它就会加载一些必要的配置和映射文件，为后续的数据库操作提供一个可靠的基础。第二个是SqlSessi
    

    • 

  • SQLite版本3中的文件锁定和并发(七）
代码工匠云
数据库SQLiteC与c++sqlitec++数据库

    返回：SQLite—系列文章目录上一篇：自己编译SQLite或将SQLite移植到新的操作系统（六）下一篇：SQLite—系列文章目录正文：1.0SQLite版本3中的文件锁定和并发SQLite版本3.0.0引入了新的锁定和日志功能旨在提高SQLite版本2的并发性的机制并减少作家的饥饿问题。新机制还允许交易的原子提交涉及多个数据库文件。本文档介绍新的锁定机制。目标受众是想要理解和/或修改的程序员
    

    • 

  • python转码
Desamond
python开发语言

    转码在许多场景中都有应用，以下是一些常见的场景：网页开发：当用户在网页上输入文本时，可能需要将特殊字符（如空格、引号、特殊符号等）进行转码，以防止这些字符对URL或HTML代码产生干扰。文件名处理：在处理文件名时，可能需要将特殊字符进行转码，以避免文件名被错误地解析或显示。数据传输：在数据传输过程中，为了确保数据的完整性和正确性，可能需要将数据中的特殊字符进行转码。数据存储：在数据库或数据存储中，
    

    • 

  • 2019-07-16
振华老凤祥店长崔宁宁

    大爱的李老师，智慧的教授，亲爱的跃友们：大家好！我是莱州鑫和金店李总的人～崔宁宁今天是我的日精进行动第56天，我分享一下今天的改变，我们相互勉励，每天进步一点点，离成功便不远。1、比学习：人这一生最主要的就是信念，坚定不移的信念是成功路上的重要基石！2、比改变：我是一切的根源，我变了世界就变了！改变自己的心态！3、比付出：承担才能成长，付出才会杰出！4、比谦卑：学习每位优秀店长身上的优点！5、比感
    

    • 

  • python清华大学出版社答案_Python机器学习及实践
weixin_39805119
python清华大学出版社答案

    第1章机器学习的基础知识1.1何谓机器学习1.1.1传感器和海量数据1.1.2机器学习的重要性1.1.3机器学习的表现1.1.4机器学习的主要任务1.1.5选择合适的算法1.1.6机器学习程序的步骤1.2综合分类1.3推荐系统和深度学习1.3.1推荐系统1.3.2深度学习1.4何为Python1.4.1使用Python软件的由来1.4.2为什么使用Python1.4.3Python设计定位1.4.
    

    • 

  • 2018-12-02
子分小

    姓名：张颖公司：菲尔德国际英语【反省总结第146天，始于20180709今天是20181202】【知～学习】六项精进大纲背诵3遍每天十个单词坚持第181天每天学习一篇英文文章第94天英语流利说课程第71天学习30分钟【行～实践】一、修身：（对自己个人）步行5000步二、齐家：（对家庭和家人）无三、建功：（对工作)完成与Arti活动课和两节Demo准备开班事宜｛积善｝：发愿从2018年7月9日起1年
    

    • 

  • 如何成为思维的高手？
明安包装闫慧玲

    六项精进训练营Day2复盘20210112湖北荆州学习靠氛围，成长靠圈子1.关于金钱认知金句：1.当今世界，非钱不行2.有钱能使鬼推磨3.金钱是万恶之本4.时间就是金钱5.金钱不是万能的，但是没有钱是万万不能的6.谈钱伤感情，谈感情伤钱道德系统→好人→美德→回流利益系统→好好生活天下熙熙皆为利来，天下攘攘皆为利往出自西汉著名史学家、文学家司马迁《史记》的第一百二十九章“货殖列传”。这句话意思是说天
    

    • 

  • 十分钟自由写作
知意zy

    主题：我缺乏的东西自从加入2022年弘丹写作学院，感觉每天的生活都忙碌了起来，我要上班，要学习。所以我每天都必须拼尽全力向前奔跑，才追得上小伙伴们的脚步。在写作学院，我学会了反省自己的不足，我的想法多，缺乏的东西也太多。比如：写作的文笔，写作逻辑，底层自信心……看到社群里那么多优秀的小伙伴，我感觉自己越来越自卑，我这么一个平庸的人，会完成今年的写作目标吗？我开始不停怀疑自己是否能坚持下去。而弘丹老
    

    • 

  • 2021-04-11
英英成长日记

    （1）每天写50字以上的催眠语言肯定自己或孩子或爱人今天的公益沙龙第二期，你有充分的准备！所以一切都很顺利！你还可以更灵活，我相信你可以做到！你是一个有爱的人！爱能成就一切！加油！分享也是成长！你说对吗？（2）每天晚上跟潜意识沟通一次。谢谢你潜意识，今天支持我讲完两个小时沙龙！感恩你每天这样支持我成长学习！（3）每天学习三条时间管理方法，共100条。(4)自己想要坚持3件事（确定下来至少一件，坚持
    

    • 

  • 插入表主键冲突做更新
a-john

    有以下场景：
用户下了一个订单，订单内的内容较多，且来自多表，首次下单的时候，内容可能会不全（部分内容不是必须，出现有些表根本就没有没有该订单的值）。在以后更改订单时，有些内容会更改，有些内容会新增。
问题：
如果在sql语句中执行update操作，在没有数据的表中会出错。如果在逻辑代码中先做查询，查询结果有做更新，没有做插入，这样会将代码复杂化。
解决：
mysql中提供了一个sql语
    

    • 

  • Android xml资源文件中@、@android:type、@*、？、@+含义和区别
Cb123456
@+@?@*

    一.@代表引用资源
1.引用自定义资源。格式：@[package:]type/name
android：text="@string/hello"
 
2.引用系统资源。格式：@android:type/name
    android:textColor="@android:color/opaque_red"
    

    • 

  • 数据结构的基本介绍
天子之骄
数据结构散列表树、图线性结构价格标签

    数据结构的基本介绍
数据结构就是数据的组织形式，用一种提前设计好的框架去存取数据，以便更方便，高效的对数据进行增删查改。正确选择合适的数据结构，对软件程序的高效执行的影响作用不亚于算法的设计。此外，在计算机系统中数据结构的作用也是非同小可。例如常常在编程语言中听到的栈，堆等，就是经典的数据结构。
 
经典的数据结构大致如下：
 
一：线性数据结构
(1)：列表
a
    

    • 

  • 通过二维码开放平台的API快速生成二维码
一炮送你回车库
api

     现在很多网站都有通过扫二维码用手机连接的功能，联图网(http://www.liantu.com/pingtai/)的二维码开放平台开放了一个生成二维码图片的Api,挺方便使用的。闲着无聊，写了个前台快速生成二维码的方法。
       html代码如下:(二维码将生成在这div下)
? 1
 &nbs
    

    • 

  • ImageIO读取一张图片改变大小
3213213333332132
javaIOimageBufferedImage

    
package com.demo;
import java.awt.image.BufferedImage;
import java.io.File;
import java.io.IOException;
import javax.imageio.ImageIO;
/**
* @Description 读取一张图片改变大小
* @author FuJianyon
    

    • 

  • myeclipse集成svn（一针见血）
7454103
eclipseSVNMyEclipse

                                     &n
    

    • 

  • 装箱与拆箱----autoboxing和unboxing
darkranger
J2SE

    4.2　自动装箱和拆箱
基本数据(Primitive)类型的自动装箱(autoboxing)、拆箱(unboxing)是自J2SE 5.0开始提供的功能。虽然为您打包基本数据类型提供了方便，但提供方便的同时表示隐藏了细节，建议在能够区分基本数据类型与对象的差别时再使用。
4.2.1　autoboxing和unboxing
在Java中，所有要处理的东西几乎都是对象(Object)
    

    • 

  • ajax传统的方式制作ajax
aijuans
Ajax

    //这是前台的代码
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%> <% String path = request.getContextPath(); String basePath = request.getScheme()+
    

    • 

  • 只用jre的eclipse是怎么编译java源文件的？
avords
javaeclipsejdktomcat

    eclipse只需要jre就可以运行开发java程序了，也能自动 编译java源代码，但是jre不是java的运行环境么，难道jre中也带有编译工具？ 还是eclipse自己实现的？谁能给解释一下呢问题补充：假设系统中没有安装jdk or jre，只在eclipse的目录中有一个jre，那么eclipse会采用该jre，问题是eclipse照样可以编译java源文件，为什么呢？
&nb
    

    • 

  • 前端模块化
bee1314
模块化

    背景： 前端JavaScript模块化，其实已经不是什么新鲜事了。但是很多的项目还没有真正的使用起来，还处于刀耕火种的野蛮生长阶段。   JavaScript一直缺乏有效的包管理机制，造成了大量的全局变量，大量的方法冲突。我们多么渴望有天能像Java（import），Python (import)，Ruby(require)那样写代码。在没有包管理机制的年代，我们是怎么避免所
    

    • 

  • 处理百万级以上的数据处理
bijian1013
oraclesql数据库大数据查询

    一.处理百万级以上的数据提高查询速度的方法：        1.应尽量避免在 where 子句中使用!=或<>操作符，否则将引擎放弃使用索引而进行全表扫描。
        2.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 o
    

    • 

  • mac 卸载 java 1.7 或更高版本
征客丶
javaOS

    卸载 java 1.7 或更高
sudo rm -rf /Library/Internet\ Plug-Ins/JavaAppletPlugin.plugin
成功执行此命令后，还可以执行 java 与 javac 命令
sudo rm -rf /Library/PreferencePanes/JavaControlPanel.prefPane
成功执行此命令后，还可以执行 java 
    

    • 

  • 【Spark六十一】Spark Streaming结合Flume、Kafka进行日志分析
bit1129
Stream

    第一步，Flume和Kakfa对接，Flume抓取日志，写到Kafka中
第二部，Spark Streaming读取Kafka中的数据，进行实时分析
 
本文首先使用Kakfa自带的消息处理（脚本）来获取消息，走通Flume和Kafka的对接 1. Flume配置
1. 下载Flume和Kafka集成的插件，下载地址：https://github.com/beyondj2ee/f
    

    • 

  • Erlang vs TNSDL
bookjovi
erlang

     
    TNSDL是Nokia内部用于开发电信交换软件的私有语言，是在SDL语言的基础上加以修改而成，TNSDL需翻译成C语言得以编译执行，TNSDL语言中实现了异步并行的特点，当然要完整实现异步并行还需要运行时动态库的支持，异步并行类似于Erlang的process（轻量级进程），TNSDL中则称之为hand，Erlang是基于vm(beam)开发，
    

    • 

  • 非常希望有一个预防疲劳的java软件, 预防过劳死和眼睛疲劳,大家一起努力搞一个
ljy325
企业应用

    　非常希望有一个预防疲劳的java软件，我看新闻和网站，国防科技大学的科学家累死了，太疲劳，老是加班，不休息，经常吃药，吃药根本就没用，根本原因是疲劳过度。我以前做java,那会公司垃圾，老想赶快学习到东西跳槽离开，搞得超负荷，不明理。深圳做软件开发经常累死人，总有不明理的人，有个软件提醒限制很好，可以挽救很多人的生命。
相关新闻：
（1）IT行业成五大疾病重灾区：过劳死平均37.9岁

    

    • 

  • 读《研磨设计模式》-代码笔记-原型模式
bylijinnan
java设计模式

    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/
/**
* Effective Java 建议使用copy constructor or copy factory来代替clone()方法：
* 1.public Product copy(Product p){}
* 2.publi
    

    • 

  • 配置管理---svn工具之权限配置
chenyu19891124
SVN

    今天花了大半天的功夫，终于弄懂svn权限配置。下面是今天收获的战绩。
安装完svn后就是在svn中建立版本库，比如我本地的是版本库路径是C:\Repositories\pepos。pepos是我的版本库。在pepos的目录结构
pepos
   component
   webapps
在conf里面的auth里赋予的权限配置为
[groups]
    

    • 

  • 浅谈程序员的数学修养
comsci
设计模式编程算法面试招聘

            
                        浅谈程序员的数学修养 
    

    • 

  • 批量执行 bulk collect与forall用法
daizj
oraclesqlbulk collectforall

    BULK COLLECT 子句会批量检索结果，即一次性将结果集绑定到一个集合变量中，并从SQL引擎发送到PL/SQL引擎。通常可以在SELECT INTO、
FETCH INTO以及RETURNING INTO子句中使用BULK COLLECT。本文将逐一描述BULK COLLECT在这几种情形下的用法。
    有关FORALL语句的用法请参考：批量SQL之 F
    

    • 

  • Linux下使用rsync最快速删除海量文件的方法
dongwei_6688
OS

    1、先安装rsync：yum install rsync
2、建立一个空的文件夹：mkdir /tmp/test
3、用rsync删除目标目录：rsync --delete-before -a -H -v --progress --stats /tmp/test/ log/这样我们要删除的log目录就会被清空了，删除的速度会非常快。rsync实际上用的是替换原理，处理数十万个文件也是秒删。

    

    • 

  • Yii CModel中rules验证规格
dcj3sjt126com
rulesyiivalidate

    Yii cValidator主要用法分析：
 yii验证rulesit 分类： Yii yii的rules验证 cValidator主要属性 attributes ,builtInValidators,enableClientValidation,message,on,safe,skipOnError
 
    

    • 

  • 基于vagrant的redis主从实验
dcj3sjt126com
vagrant

    平台: Mac
工具: Vagrant
系统: Centos6.5
实验目的: Redis主从
 
实现思路
制作一个基于sentos6.5, 已经安装好reids的box, 添加一个脚本配置从机, 然后作为后面主机从机的基础box
 
制作sentos6.5+redis的box
 
mkdir vagrant_redis
cd vagrant_
    

    • 

  • Memcached(二)、Centos安装Memcached服务器
frank1234
centosmemcached

    一、安装gcc
rpm和yum安装memcached服务器连接没有找到，所以我使用的是make的方式安装，由于make依赖于gcc，所以要先安装gcc
开始安装，命令如下，[color=red][b]顺序一定不能出错[/b][/color]：
建议可以先切换到root用户，不然可能会遇到权限问题：su root 输入密码......
rpm -ivh kernel-head
    

    • 

  • Remove Duplicates from Sorted List
hcx2013
remove

    Given a sorted linked list, delete all duplicates such that each element appear only once.
For example,Given 1->1->2, return 1->2.Given 1->1->2->3->3, return&
    

    • 

  • Spring4新特性——JSR310日期时间API的支持
jinnianshilongnian
spring4

    Spring4新特性——泛型限定式依赖注入
Spring4新特性——核心容器的其他改进
Spring4新特性——Web开发的增强
Spring4新特性——集成Bean Validation 1.1(JSR-349)到SpringMVC 
Spring4新特性——Groovy Bean定义DSL
Spring4新特性——更好的Java泛型操作API 
Spring4新
    

    • 

  • 浅谈enum与单例设计模式
247687009
java单例

    在JDK1.5之前的单例实现方式有两种(懒汉式和饿汉式并无设计上的区别故看做一种)，两者同是私有构
造器，导出静态成员变量，以便调用者访问。
第一种
package singleton;
public class Singleton {
//导出全局成员
public final static Singleton INSTANCE = new S
    

    • 

  • 使用switch条件语句需要注意的几点
openwrt
cbreakswitch

    1. 当满足条件的case中没有break，程序将依次执行其后的每种条件（包括default）直到遇到break跳出
int main()
{
int n = 1;
switch(n) {
case 1:
printf("--1--\n");
default:
printf("defa
    

    • 

  • 配置Spring Mybatis JUnit测试环境的应用上下文
schnell18
springmybatisJUnit

    Spring-test模块中的应用上下文和web及spring boot的有很大差异。主要试下来差异有：
单元测试的app context不支持从外部properties文件注入属性
@Value注解不能解析带通配符的路径字符串
解决第一个问题可以配置一个PropertyPlaceholderConfigurer的bean。
第二个问题的具体实例是：
   
    

    • 

  • Java 定时任务总结一
tuoni
javaspringtimerquartztimertask

     Java定时任务总结  一.从技术上分类大概分为以下三种方式：  1.Java自带的java.util.Timer类，这个类允许你调度一个java.util.TimerTask任务;   说明：    java.util.Timer定时器，实际上是个线程，定时执行TimerTask类 &
    

    • 

  • 一种防止用户生成内容站点出现商业广告以及非法有害等垃圾信息的方法
yangshangchuan
rank相似度计算文本相似度词袋模型余弦相似度

    本文描述了一种在ITEYE博客频道上面出现的新型的商业广告形式及其应对方法，对于其他的用户生成内容站点类型也具有同样的适用性。
 
最近在ITEYE博客频道上面出现了一种新型的商业广告形式，方法如下：
    1、注册多个账号（一般10个以上）。
    2、从多个账号中选择一个账号，发表1-2篇博文
    

    •