张鑫泽_2109
张鑫泽_2109

6-27 MySQL 主从复制

上节回顾：

1.  mysqldump

-u -p  -S  -h  -P   

-A ， -B  ， 库  表

-R  --triggers  -E 

--master-data=2

--single-transaction

--set-gtid-purged=OFF 构建主从的备份千万不能加OFF，可以是ON或者AUTO 

--max-allowed-packet=

2. xtrabackup

innobackupex   

全备：

innobackupex --user --password --no-timestamp /data/backup/full

增量：

innobackupex --user --password --no-timestamp --incremental --incremental-basedir=/data/backup/full /data/backup/inc1

整理备份：

全备：

innobackupex --apply-log /data/backup/full

增量：

只有最后一次合并的增量不需要--redo-only,过程中所有备份整理都要加--redo-only。

innobackupex --apply-log --redo-only --incremental-dir=/data/backup/inc1  /data/backup/full

恢复备份：

innobackupex --copy-back /data/backup/full

3. 备份工具如何配合binlog应用

binlog截取最重要的是找到 起点和终点

周三下午两点 ，数据损坏，截取日志的思路

mysqldump :

起点：找到周二晚上全备脚本，找到change master to

终点：通过看events 或者 文件内容 找到故障点的位置

xtrabackup ：

起点：找到周二晚上增量备份。备份路径下xtrabackup_binlog_info

终点：通过看events 或者 文件内容 找到故障点的位置

4. 异构

操作系统版本不一样

逻辑备份

数据库软件不一样

MySQL  ---CSV->  MongoDB  , ES

MySQL  ---JSON->  MongoDB  , ES

========================================

主从复制

1. 介绍

依赖于二进制日志的，“实时”备份的一个多节点架构

2. 主从复制的前提

2.1 至少2个实例

2.2 不同的server_id

2.3 主库需要开启二进制日志

2.4 主库需要授权一个专用复制用户

2.5 主库数据备份

2.6 开启专用复制线程

3. 搭建主从复制

3.1 准备多实例

略

3.2 检查server_id

mysql -S /data/3307/mysql.sock -e "select @@server_id"

mysql -S /data/3308/mysql.sock -e "select @@server_id"

mysql -S /data/3309/mysql.sock -e "select @@server_id"

3.3 检查3307(主库)的二进制日志情况

mysql -S /data/3307/mysql.sock -e "show variables like '%log_bin%'"

3.4 主库创建复制用户

[root@db01 ~]# mysql -S /data/3307/mysql.sock

mysql> grant replication slave on *.* to repl@'10.0.0.%' identified by '123';

3.5 进行主库数据备份

[root@db01 ~]# mysqldump -S /data/3307/mysql.sock  -A --master-data=2 -R -E --triggers --single-transaction >/tmp/full.sql

3.6 恢复数据到从库(3308)

[root@db01 ~]# mysql -S /data/3308/mysql.sock

mysql> set sql_log_bin=0;

mysql> source /tmp/full.sql;

3.7 告诉从库复制的信息

help change master to

CHANGE MASTER TO

  MASTER_HOST='10.0.0.51',

  MASTER_USER='repl',

  MASTER_PASSWORD='123',

  MASTER_PORT=3307,

  MASTER_LOG_FILE='mysql-bin.000001',

  MASTER_LOG_POS=444,

  MASTER_CONNECT_RETRY=10;

vim /tmp/full.sql

22 -- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000001', MASTER_LOG_POS=444;

3.8 启动复制线程

mysql> start slave;

3.9 如果 change master to 信息输入错误，咋办？

mysql> stop slave;

mysql> reset slave all;

CHANGE MASTER TO

  MASTER_HOST='10.0.0.51',

  MASTER_USER='repl',

  MASTER_PASSWORD='123',

  MASTER_PORT=3307,

  MASTER_LOG_FILE='mysql-bin.000001',

  MASTER_LOG_POS=444,

  MASTER_CONNECT_RETRY=10;

mysql> start slave;

4. 主从复制工作过程（原理）

4.1  名词认识

文件：

主库：binlog

从库：

relay-log      中继日志

master.info    主库信息文件

relay-log.info  中继日志应用信息

线程：

主库：

binlog_dump_thread 二进制日志投递线程

mysql -S /data/3307/mysql.sock -e "show processlist"

从库:

IO_Thread :  从库IO线程 ：    请求和接收binlog

SQL_Thread:  从库的SQL线程 ： 回放日志

4.2 工作原理

（1）从库执行 change master to 语句，会立即将主库信息记录到master.info中

（2）从库执行 start slave语句，会立即生成IO_T和SQL_T

（3）IO_T 读取master.info文件，获取到主库信息

（4）IO_T 连接主库，主库会立即分配一个DUMP_T,进行交互

（5）IO_T 根据master.info binlog信息，向DUMP_T请求最新的binlog

（6）主库DUMP_T,经过查询，如果发现有新的，截取并反回给从库IO_T

（7）从库IO_T会收到binlog，存储在TCP/IP缓存中,在网络底层返回ACK

（8）从库IO_T会更新master.info ,重置binlog位置点信息

（9）从库IO_T会将binlog，写入到relay-log中

（10）从库SQL_T 读取Relay-log.info 文件，获取上次执行过的位置点

（11）SQL_T按照位置点往下执行relaylog日志

（12）SQL_T执行完成后，重新更新relay-log.info

（13）relaylog定期自动清理的功能。

细节：

主库发生了信息的修改，更新二进制日志完成后，会发送一个“信号”给Dump_T,Dump_T通知给IO_T线程

5. 主从复制监控及故障分析处理

5.1 主从监控

主库：

show processlist;

Master has sent all binlog to slave; waiting for more updates

从库：

show slave status \G

mysql> show slave status\G

*************************** 1. row ***************************

              Slave_IO_State: Waiting for master to send event

                  Master_Host: 10.0.0.51

                  Master_User: repl

                  Master_Port: 3307

                Connect_Retry: 10

              Master_Log_File: mysql-bin.000001

          Read_Master_Log_Pos: 444

              Relay_Log_File: db01-relay-bin.000002

                Relay_Log_Pos: 320

        Relay_Master_Log_File: mysql-bin.000001

            Slave_IO_Running: Yes

            Slave_SQL_Running: Yes

              Replicate_Do_DB:

          Replicate_Ignore_DB:

          Replicate_Do_Table:

      Replicate_Ignore_Table:

      Replicate_Wild_Do_Table:

  Replicate_Wild_Ignore_Table:

                  Last_Errno: 0

                  Last_Error:

                Skip_Counter: 0

          Exec_Master_Log_Pos: 444

              Relay_Log_Space: 526

              Until_Condition: None

              Until_Log_File:

                Until_Log_Pos: 0

          Master_SSL_Allowed: No

          Master_SSL_CA_File:

          Master_SSL_CA_Path:

              Master_SSL_Cert:

            Master_SSL_Cipher:

              Master_SSL_Key:

        Seconds_Behind_Master: 0

Master_SSL_Verify_Server_Cert: No

                Last_IO_Errno: 0

                Last_IO_Error:

              Last_SQL_Errno: 0

              Last_SQL_Error:

  Replicate_Ignore_Server_Ids:

            Master_Server_Id: 7

                  Master_UUID: dd822ce8-9878-11e9-b99b-000c29099eb6

            Master_Info_File: /data/3308/data/master.info

                    SQL_Delay: 0

          SQL_Remaining_Delay: NULL

      Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates

          Master_Retry_Count: 86400

                  Master_Bind:

      Last_IO_Error_Timestamp:

    Last_SQL_Error_Timestamp:

              Master_SSL_Crl:

          Master_SSL_Crlpath:

          Retrieved_Gtid_Set:

            Executed_Gtid_Set:

                Auto_Position: 0

        Replicate_Rewrite_DB:

                Channel_Name:

          Master_TLS_Version:


主库的信息（master.info）：  

Master_Host: 10.0.0.51                主库的IP

Master_User: repl   复制用户名

Master_Port: 3307   主库的端口

Connect_Retry: 10   断连之后重试次数

Master_Log_File: mysql-bin.000001    已经获取得到binlog的文件名

Read_Master_Log_Pos: 444              已经获取得到binlog的位置号

从库的relaylog的信息(relay-log.info)：

Relay_Log_File: db01-relay-bin.000002 从库已经运行过的relaylog的文件名

Relay_Log_Pos: 320   从库已经运行过的relaylog的位置点

从库复制线程工作状态：

Slave_IO_Running: Yes

Slave_SQL_Running: Yes


过滤复制相关的状态：

Replicate_Do_DB:

Replicate_Ignore_DB:

Replicate_Do_Table:

Replicate_Ignore_Table:

Replicate_Wild_Do_Table:

Replicate_Wild_Ignore_Table:

从库延时主库的时间:

Seconds_Behind_Master: 0        从库延时主库的时间（秒为单位）

从库线程报错详细信息：

Last_IO_Errno: 0        IO报错的号码

Last_IO_Error:          IO报错的具体信息

Last_SQL_Errno: 0      SQL报错的号码

Last_SQL_Error:        SQL线程报错的具体原因

延时从库：

SQL_Delay: 0              延时从库设定的时间

SQL_Remaining_Delay: NULL 延时操作剩余时间 

GTID复制信息：

Retrieved_Gtid_Set:    接收到的GTID的个数

Executed_Gtid_Set: 执行了的GTID的个数

5.2  主从故障的分析及处理

从库复制线程工作状态：

Slave_IO_Running: Yes

Slave_SQL_Running: Yes

从库线程报错详细信息：

Last_IO_Errno: 0        IO报错的号码

Last_IO_Error:          IO报错的具体信息

Last_SQL_Errno: 0      SQL报错的号码

Last_SQL_Error:        SQL线程报错的具体原因             

5.2.1 IO线程故障

（1）连接主库连接不上

connecting

原因：

网络不通

防火墙

IP 不对

port 不对

用户，密码不对

skip_name_resolve

链接数上限

处理思路：

[root@db01 ~]# mysql -urepl -p123 -h 10.0.0.51 -P 3308  --->端口问题

mysql: [Warning] Using a password on the command line interface can be insecure.

ERROR 1130 (HY000): Host 'db01' is not allowed to connect to this MySQL server

[root@db01 ~]# mysql -urepl -p123 -h 10.0.0.52 -P 3307 

mysql: [Warning] Using a password on the command line interface can be insecure.

ERROR 2003 (HY000): Can't connect to MySQL server on '10.0.0.52' (110)

[root@db01 ~]# mysql -urepl -p1234 -h 10.0.0.51 -P 3307

mysql: [Warning] Using a password on the command line interface can be insecure.

ERROR 1045 (28000): Access denied for user 'repl'@'db01' (using password: YES)

[root@db01 ~]# mysql -urepl1 -p123 -h 10.0.0.51 -P 3307

mysql: [Warning] Using a password on the command line interface can be insecure.

ERROR 1045 (28000): Access denied for user 'repl1'@'db01' (using password: YES)

[root@db01 ~]#

如何处理？

stop slave;

reset slave all ;

change master to

start slave;

（2）请求新的binlog

IO线程No的状态分析：

原因一： 日志名不对

从库信息：

Master_Log_File: mysql-bin.000001

Read_Master_Log_Pos: 444

对比备份的位置号。

原因二：日志损坏，日志不连续

演示：

主库：

mysql -S /data/3307/mysql.sock

mysql> flush logs;

mysql> flush logs;

mysql> flush logs;

mysql> flush logs;

mysql> flush logs;

mysql> reset master;

mysql> create database dd;

Query OK, 1 row affected (0.01 sec)

mysql> create database dd1;

Query OK, 1 row affected (0.00 sec)

mysql> create database dd2;

Query OK, 1 row affected (0.00 sec)

从库：       

Slave_IO_Running: No

Slave_SQL_Running: Yes

Last_IO_Error: Got fatal error 1236 from master when reading data from binary log: 'could not find next log; the first event 'mysql-bin.000001' at 154, the last event read from '/data/3307/mysql-bin.000006' at 154, the last byte read from '/data/3307/mysql-bin.000006' at 154.'

处理：

mysql -S /data/3308/mysql.sock

stop slave;

reset slave all ;

CHANGE MASTER TO

  MASTER_HOST='10.0.0.51',

  MASTER_USER='repl',

  MASTER_PASSWORD='123',

  MASTER_PORT=3307,

  MASTER_LOG_FILE='mysql-bin.000001',

  MASTER_LOG_POS=154,

  MASTER_CONNECT_RETRY=10;

start slave;

（3）写relaylog

（4）更新master.info

（5）server_id重复

5.2.2 SQL线程故障

原因一：

读relay-log.info

读relay-log ，并执行日志

更新relay-log.info

以上文件损坏，最好是重新构建主从

原因二：

为什么一条SQL语句执行不成功？

1. 主从数据库版本差异较大

2. 主从数据库配置参数不一致（例如：sql_mode等）

3. 想要创建的对象已经存在

4. 想要删除或修改的对象不存在

5. 主键冲突

6. DML语句不符合表定义及约束时

归根结底是从库写入了。

方法一：

stop slave;

set global sql_slave_skip_counter = 1;

/etc/my.cnf

slave-skip-errors = 1032,1062,1007

方法二：万全的解决

设置从库只读，防止写入

使用中间件做成读写分离的架构

6. 主从延时原因分析

从库延时主库的时间:

Seconds_Behind_Master: 0    从库延时主库的时间（秒为单位）

6.1 主库方面：

日志写入不及时

sync_binlog=1;

主库并发业务较高

“分布式”架构

从库太多

级联主从

对于Classic Replication ：

主库是有能力并发运行事务的，但是在Dump_T在传输日志的时候，是以事件为单元传输日志的，

所以导致事务的传输工作是串行方式的，这时在主库TPS很高时，会产生比较大的主从延时。

怎么处理：

group commit。

从5.6开始加入了GTID，在复制时，可以将原来串行的传输模式变成并行的。

除了GTID支持，还需要双一保证。

6.2 从库方面

Classic Replication

SQL 线程只有一个，所以说只能串行执行relay的事务。

怎么解决？

多加几个SQL线程

在5.6中出现了database级别的多线程SQL

只能针对不同库下的事务，才能并发

到5.7版本加入了MTS ，真正实现了事务级别的并发SQL

7. 延时从库

7.1 数据损坏

物理损坏

逻辑损坏

对于传统的主从复制，比较擅长处理物理损坏。

7.2 设计理念

对SQL线程进行延时设置

7.3 延时多久合适？

一般企业，延时3-6小时

7.4 如何设置

mysql>stop slave;

mysql>CHANGE MASTER TO MASTER_DELAY = 300;

mysql>start slave;

mysql> show slave status \G

SQL_Delay: 300

SQL_Remaining_Delay: NULL

7.5 如何使用延时从库

7.5.1 思路

模拟故障：

mysql -S /data/3307/mysql.sock

create database  delay charset utf8mb4;

use delay;

create table t1(id int);

insert into t1 values(1),(2),(3);

commit;

drop database delay;

发现问题了：

1. 停止SQL线程，停止主库业务。

2. 模拟SQL手工恢复relaylog到drop之前的位置点

3. 截取relaylog日志，找到起点（relay-log.info）和终点(drop 操作)

4. 恢复截取的日志，验证数据可用性。

开始处理：

1. 停从库的SQL线程

mysql -S /data/3308/mysql.sock

mysql> stop slave sql_thread;

2. 找relaylog的起点和终点

起点：

Relay_Log_File: db01-relay-bin.000002

Relay_Log_Pos: 476

终点：

mysql> show relaylog events in 'db01-relay-bin.000002'

| db01-relay-bin.000002 | 1149 | Query          |        7 |        2036 | drop database delay 

3. 截取日志

[root@db01 ~]# mysqlbinlog --start-position=476 --stop-position=1149 /data/3308/data/db01-relay-bin.000002 >/tmp/relay.sql

4. 恢复

mysql -S /data/3308/mysql.sock

set sql_log_bin=0;

source /tmp/relay.sql

你可能感兴趣的:(6-27 MySQL 主从复制)

  • unblock with ‘mysqladmin flush-hosts‘ 解决方法 祈祷平安,加油 数据库常见问题oracle数据库
    MySqlHostisblockedbecauseofmanyconnectionerrors;unblockwith'mysqladminflush-hosts'解决方法环境：linux，mysql5.5.21错误：Hostisblockedbecauseofmanyconnectionerrors;unblockwith'mysqladminflush-hosts'原因：同一个ip在短时间内产
  • 通俗易懂：MySQL中如何设置只读实例并确保数据一致性？ 大龄下岗程序员 mysqljavamysqlspring
    在MySQL中设置只读实例主要应用于构建高可用性和扩展性的数据库环境，通常是为了分担读取负载或者用于备份和灾难恢复。以下是创建MySQL只读实例并确保数据一致性的基本步骤：1.创建并配置只读实例-主从复制设置-首先，你需要有一个主数据库实例（Master）负责接收所有的写操作。-创建一个或多个从数据库实例（Slave），并将它们配置为主数据库的复制品。这通常通过设置主从复制（Replication
  • Redis和MySQL的数据一致性问题思考 爱放火的安小妮 RedisMySQL思考总结redismysql数据库
    Redis和MySQL的数据一致性问题思考最近有在反思自己工作。因为自己这边是面向业务的，而且是和商品数据相关的。所以我平时工作中涉及到的最多的就是MySQL和Redis的数据存储。像我们配置商品是把商品配置到MySQL，但是对外toC接口都是直接读取Redis的。所以自然而然就涉及到MySQL和Redis的数据一致性问题。下面就是聊聊我自己对于这个问题的一个思考吧。有问题或者有更好方案的朋友也希
  • docker怎么端口映射 Lance_mu docker容器运维
    1、默认固定的端口#Web服务器：WebApache或Nginx通常使用80端口HTTP：80HTTPS：443#数据库服务器MySQL：3306PostgreSQL：5432MongoDB：27017Redis：6379#邮件服务器SMTP：25POP3：110IMAP：143#其他服务SSH：22FTP：21DNS（域名解析）：53代理服务器Squid：3128版本控制系统Git：9418(S
  • 高阶SQL语句（二） www.mcb.com 数据库mysql
    一子查询也被称作内查询或者嵌套查询，是指在一个查询语句里面还嵌套着另一个查询语句。子查询语句是先于主查询语句被执行的，其结果作为外层的条件返回给主查询进行下一步的查询过滤。①子语句可以与主语句所查询的表相同，也可以是不同表②子语句中的sql语句是为了，最后过滤出一个结果集，用于主语句的判断条件③in:将主表和子表关联/连接的语法环境准备：mysql>usekgc_ky35;Readingtable
  • Python Flask 使用数据库 安果移不动 pythonflask开发语言
    pipinstallflask_sqlalchemy官方文档：Flask-SQLAlchemy—Flask-SQLAlchemyDocumentation(3.1.x)为了不报错也需要导入另外两个库#pipinstallflask_sqlalchemy#pipinstallmysqlclient完整代码importosfromflaskimportFlaskfromflask_sqlalchemy
  • 第七章 索引及执行计划，存储引擎 执笔为剑 #MySQL运维篇编辑器mysql
    第七章索引及执行计划，存储引擎1，索引及执行计划1，作用：提供类似书目录的作用，目的是优化查询2，所用的种类（根据算法）B树索引Hash索引R树FulltextGIS3，B树基于不同的查找算法分类介绍B-tree：在范围查询方面提供了更好的性能（>showengines;#存储引擎作用在表上，不同的表可能有不同的存储引擎mysql>select@@default_storage_engine;#查
  • Thinkphp - 详细实现网站系统登录功能，附带 Mysql 数据库设置、Web 前端展示界面、信息校验等（详细代码，即设计过程） 王佳斌 +Thinkphpmysql前端数据库
    前言登录功能，是我们几乎开发每个系统都必须的模块。登录功能设计思路，主要包括几个方面。用户输入网址展示登录页面用户输入用户名，密码等点击登录进行信息校验校验通过之后，记录用户登录信息，跳转指定页面用户校验失败，提示失败信息页面目录具体功能实现为了快速搭建可用、美观的页面，我们采用一个比较成熟的前端框架Bootstrap。下面我们到Bootstrap的官网Bootsrap官网下载bootstrap。
  • 设置mysql 数据库和表 的编码方式UTF-8 盖盖衍上 中间件数据库mysqloracle
    要设置MySQL数据库表和字段的编码方式为UTF-8，可以使用下面的SQL语句：1.设置数据库默认编码为UTF-8：ALTERDATABASEyour_database_nameCHARACTERSETutf8mb4COLLATEutf8mb4_unicode_ci;2.创建表时指定编码为UTF-8：CREATETABLEyour_table_name(column1VARCHAR(100)CHA
  • 【二】【设计模式】建造者模式 妖精七七_ 设计模式设计模式建造者模式
    建造者模式的引入//C10_1.cpp#include#include"SystemConfig.h"intmain(){SystemConfigconfig("mysql://127.0.0.1/","xiaomu","xiaomumemeda","redis://127.0.0.1/","xiaomuredis","xiaomuredispw","kafka://127.0.0.1","xia
  • Linux（centos7）部署hive 灯下夜无眠 Linuxlinuxhive运维dbeaverhive客户端
    前提环境：已部署完hadoop(HDFS、MapReduce、YARN)1、安装元数据服务MySQL切换root用户#更新密钥rpm--importhttps://repo.mysql.com/RPM-GPG-KEY-mysqL-2022#安装Mysqlyum库rpm-Uvhhttp://repo.mysql.com//mysql57-community-release-el7-7.noarch.
  • mysql 常见数据表操作 天狼1222 mysql系列mysql数据库
    前面介绍了数据库表的基本操作。把常用的做一个汇总。时间久了，记不得完整的语法了，再打开一看，就清楚了。1，表操作1，建表+注释CREATETABLEstudent(idINTPRIMARYKEYAUTO_INCREMENTCOMMENT'学号',nameVARCHAR(200)COMMENT'姓名',ageINTCOMMENT'年龄')COMMENT='学生表'2，修改注释--修改表注释-ALTE
  • 通俗易懂：描述MySQL中SET和ENUM数据类型的异同。 大龄下岗程序员 mysqljavamysqlspring
    MySQL中的SET和ENUM数据类型均用于限制字段可接受的值范围，但它们的设计用途和功能特性有所不同：SET类型-SET是一种集合类型，它可以存储一组预定义的离散值，并且在一个SET字段中可以同时存储多个值。-SET字段内的值是互斥的，即同一时间不会存在相同的元素两次，但可以有多个不同的元素组合。-值之间的分隔通常用逗号（,）或其他指定字符。-SET类型的字段最大可以容纳64个不同的成员值。-在
  • GROM学习 码小白l golang
    什么是GROMGo语言ORM（对象关系映射）库，它提供了一种高效、简洁的方式来操作数据库。通过将数据库表映射为Go语言的结构体，GORM让数据库操作变得更加直观和类型安全。GORM支持主流的数据库系统，包括MySQL、PostgreSQL、SQLite和SQLServer等GORM提供了一系列的API来操作MySQL数据库。以下是一些常用的GORMAPI操作，以及它们在操作MySQL时的用法：安装
  • Mysql数据库MariaDB数据库MHA高可用程序 yichen_china
    声明：本次实验使用的是MariaDB数据库，所以本文中所出现的MariaDB与MySQL都是指的是MariaDB！！！MHA（MasterHA）是一款开源的MySQL的高可用程序，它为MySQL主从复制架构提供了automatingmasterfailover功能。MHA在监控到master节点故障时，会提升其中拥有最新数据的slave节点成为新的master节点，在此期间，MHA会通过于其它从节
  • centos7中的MySQL安装 老伙子53 mysql数据库
    centos7中的MySQL安装一、MySQL5.7.17安装脚本#!/bin/bashcd/rootmkdirmysql_tarwgethttps://downloads.mysql.com/archives/get/p/23/file/mysql-community-server-5.7.17-1.el7.x86_64.rpmwgethttps://downloads.mysql.com/ar
  • 【PHP】通过PHP开启/暂停Apache、MySQL或其他服务 下页、再停留 PHPphpapachemysql
    目录一、前言二、代码一、前言有些时候我们需要开启或暂停一些服务，比如说开启Apach或暂停MySQL服务等，最近工作中也开发了这方面的功能，记录下来怎样使用PHP语言来开启或暂停Apache、MySQL服务的运行状态。这种方法也适用其他服务。如果想了解怎么实时监控服务的运行状态，可以看上一篇文章【PHP】通过PHP实时监控Apache、MySQL服务运行状态-CSDN博客二、代码有三个参数需要根据
  • 基于SSM+Vue企业销售培训系统 企业人才培训系统 企业课程培训管理系统 企业文化培训班系统Java 计算机程序老哥
    作者主页：计算机毕业设计老哥有问题可以主页问我一、开发介绍1.1开发环境开发语言：Java数据库：MySQL系统架构：B/S后端：SSM(Spring+SpringMVC+Mybatis)前端：Vue工具：IDEA或者Eclipse，JDK1.8，Maven二、系统介绍2.1图片展示注册登录页面：登陆.png前端页面功能：首页、培训班、在线学习、企业文化、交流论坛、试卷列表、系统公告、留言反馈、个
  • SQL运维_Unix下MySQL-8.0.18配置文件示例 Mostcow SQLsql运维unix
    SQL运维_Unix下MySQL-8.0.18配置文件示例MySQL是一个关系型数据库管理系统,由瑞典MySQLAB公司开发,属于Oracle旗下产品。MySQL是最流行的关系型数据库管理系统之一,在WEB应用方面,MySQL是最好的RDBMS(RelationalDatabaseManagementSystem,关系数据库管理系统)应用软件之一。MySQL是一种关系型数据库管理系统,关系数据库将
  • Linux系统定时备份mysql数据库 er_得一 数据库mysqloracle
    1、创建shell脚本mysql_db_backup并赋予执行权限#!/bin/bash#备份目录BACKUP=/data/backup/db#当前时间DATETIME=$(date+%Y-%m-%d_%H%M%S)echo$DATETIME#数据库地址HOST=localhost#数据库用户名DB_USER=root#数据库密码DB_PW=pwd@123#备份的数据库名DATABASE=Apol
  • MySQL的zerofill 零填充 程序员达芬奇 数据库mysql数据库
    在MySQL中，ZEROFILL是一种属性，用于在创建表时指定数值列的显示宽度，并在值不足指定宽度时使用零填充（前导零）。当将ZEROFILL属性应用于一个整数列时，MySQL会在显示该整数时使用零填充以达到指定的宽度。下面是一个简单的示例，演示如何在创建表时使用ZEROFILL零填充属性：CREATETABLEexample_table(idINT(5)ZEROFILL,nameVARCHAR(
  • 解决sqlalchemy执行语句提示Not an executable object 娜年花开666 #Pythonandroid
    问题：fromsqlalchemyimportcreate_engine#数据库的变量HOST='127.0.0.1'PORT=3306DATA_BASE='itbz'USER='root'PWD='123456'#DB_URL=f'数据库的名+驱动名://{USER}:{PWD}@{HOST}:{PORT}/{DATA_BASE}'DB_URL=f'mysql+pymysql://{USER}:
  • Nagios安装部署全攻略 weixin_34109408 memcachedphp操作系统
    概述：公司的生产机器一共有12台，2台LVS(主备)、2台nginx、2台tomcat、1台后台服务器(nginx_tomcat)、3台mysql(主+备+异地灾备)、1台图片服务器、2台memcached.可以看出网站的架构就是基于高可用的原理的，每个层面都做了主备、系统的PV不高，对于并发布，高性能没有那么苛求，对于系统安全、稳定有较高要求，前期已经对系统做了各种日志分析，WAF配置，漏洞扫面
  • mysqldump 参数说明 yjph83 mysql/mycat数据库
    参数说明--all-databases,-A导出全部数据库。mysqldump-uroot-p--all-databases--all-tablespaces,-Y导出全部表空间。mysqldump-uroot-p--all-databases--all-tablespaces--no-tablespaces,-y不导出任何表空间信息。mysqldump-uroot-p--all-database
  • elasticsearch同步mysql数据库神器之go-mysql-elasticsearch 强哥的博客 数据库
    go-mysql-elasticsearch是国内作者开发的一款插件。测试表明：该插件优点：能实现同步增、删、改、查操作。不足之处（待完善的地方）：1、日志不是很详细，但是能满足基本需求；2、初始化时，无法自动同步mysql中存在的以前的数据，需要自行解决初始导入（如重建索引批量导入）go-mysql-elasticsearch安装步骤1：安装goyuminstallgo步骤2：安装godepgo
  • Centos 7 yum安装php5.6.X DomyloveR
    检查当前安装的PHP包yumlistinstalled|grepphp如果有安装的PHP包，先删除他们yumremovephp.x86_64php-cli.x86_64php-common.x86_64php-gd.x86_64php-ldap.x86_64php-mbstring.x86_64php-mcrypt.x86_64php-mysql.x86_64php-pdo.x86_64配置yum
  • Debezium日常分享系列之：Debezium2.5稳定版本之Mysql连接器 最笨的羊羊 debeziumDebezium日常分析系列Debezium2.5稳定版本Mysql连接器
    Debezium日常分享系列之：Debezium2.5稳定版本之Mysql连接器Debezium日常分享系列之：Debezium2.5稳定版本之Mysql连接器的工作原理Debezium日常分享系列之：Debezium2.5稳定版本之Mysql连接器的数据变更事件Debezium日常分享系列之：Debezium2.5稳定版本之数据类型映射Debezium日常分享系列之：Debezium2.5稳定版
  • Maxwell监听mysql的binlog日志变化写入kafka消费者 澄绪猿 mysqlkafka数据库
    一.环境：maxwell:v1.29.2(从1.30开始maxwell停止了对java8的使用，改为为11)maxwell1.29.2这个版本对mysql8.0以后的缺少utf8mb3字符的解码问题，需要对原码中加上一个部分内容：具体也给大家做了总结：关于v1.29.2版本的Maxwell存在于mysql8.0后版本部分源码字符集处理确实问题-CSDN博客二.程序这里还是那一个kafka模拟器来实
  • Docker 安装mysql 主从复制 dylan_2017 Docker高级dockermysql容器
    目录1MySql主从复制简介1.1主从复制的概念1.2主从复制的作用2.搭建主从复制2.1pullmysql镜像2.2新建主服务器容器实例33072.2.1master创建my.cnf2.2.2重启master2.2.3进入mysql容器，创建同步用户2.3新建从服务器容器实例33082.3.1slave创建my.cnf2.3.2重启slave实例2.3.3在master中查看主从同步状态2.3.
  • 基于python+vue高校毕业生离校管理系统flask-django-php-nodejs QQ511008285 pythonvue.jsflaskdjangonode.jsphp
    课题主要采用Uni-weixin、django架构技术，前端以小程序页面呈现给用户，结合后台java语言使页面更加完善，后台使用MySQL数据库进行数据存储。微信小程序主要包括学生、教务人员、宿管员、图书管理员、财务人员、离校申请、物流信息、钥匙归还、图片归还、欠费信息、催缴信息等功能，从而实现智能化的管理方式，提高工作效率。关键字：高校毕业生离校管理系统；django框架；MySQL数据库语言：
  • Java 并发包之线程池和原子计数 lijingyao8206 Java计数ThreadPool并发包java线程池
    对于大数据量关联的业务处理逻辑，比较直接的想法就是用JDK提供的并发包去解决多线程情况下的业务数据处理。线程池可以提供很好的管理线程的方式，并且可以提高线程利用率，并发包中的原子计数在多线程的情况下可以让我们避免去写一些同步代码。     这里就先把jdk并发包中的线程池处理器ThreadPoolExecutor 以原子计数类AomicInteger 和倒数计时锁C
  • java编程思想 抽象类和接口 百合不是茶 java抽象类接口
    接口c++对接口和内部类只有简介的支持,但在java中有队这些类的直接支持   1 ,抽象类 :  如果一个类包含一个或多个抽象方法,该类必须限定为抽象类(否者编译器报错)   抽象方法 : 在方法中仅有声明而没有方法体    package com.wj.Interface;
  • [房地产与大数据]房地产数据挖掘系统 comsci 数据挖掘
           随着一个关键核心技术的突破,我们已经是独立自主的开发某些先进模块,但是要完全实现,还需要一定的时间...        所以,除了代码工作以外,我们还需要关心一下非技术领域的事件..比如说房地产     &nb
  • 数组队列总结 沐刃青蛟 数组队列
          数组队列是一种大小可以改变，类型没有定死的类似数组的工具。不过与数组相比，它更具有灵活性。因为它不但不用担心越界问题，而且因为泛型（类似c++中模板的东西）的存在而支持各种类型。      以下是数组队列的功能实现代码：   import List.Student; public class
  • Oracle存储过程无法编译的解决方法 IT独行者 oracle存储过程　
    今天同事修改Oracle存储过程又导致2个过程无法被编译，流程规范上的东西，Dave 这里不多说，看看怎么解决问题。   1.     查看无效对象 XEZF@xezf(qs-xezf-db1)> select object_name,object_type,status from all_objects where status='IN
  • 重装系统之后oracle恢复 文强chu oracle
    前几天正在使用电脑，没有暂停oracle的各种服务。 突然win8.1系统奔溃，无法修复，开机时系统 提示正在搜集错误信息，然后再开机，再提示的无限循环中。 无耐我拿出系统u盘 准备重装系统，没想到竟然无法从u盘引导成功。 晚上到外面早了一家修电脑店，让人家给装了个系统，并且那哥们在我没反应过来的时候， 直接把我的c盘给格式化了 并且清理了注册表，再装系统。 然后的结果就是我的oracl
  • python学习二（ 一些基础语法） 小桔子 pthon基础语法
    紧接着把！昨天没看继续看django 官方教程，学了下python的基本语法 与c类语言还是有些小差别： 1.ptyhon的源文件以UTF-8编码格式 2. /   除 结果浮点型 //  除 结果整形 %   除 取余数 *   乘 **  乘方 eg 5**2 结果是5的2次方25 _&
  • svn 常用命令 aichenglong SVN版本回退
    1 svn回退版本   1)在window中选择log,根据想要回退的内容,选择revert this version或revert chanages from this version 两者的区别:   revert this version:表示回退到当前版本(该版本后的版本全部作废)   revert chanages from this versio
  • 某小公司面试归来 alafqq 面试
    先填单子，还要写笔试题，我以时间为急，拒绝了它。。时间宝贵。 老拿这些对付毕业生的东东来吓唬我。。 面试官很刁难，问了几个问题，记录下； 1，包的范围。。。public,private,protect. --悲剧了 2，hashcode方法和equals方法的区别。谁覆盖谁.结果，他说我说反了。 3，最恶心的一道题，抽象类继承抽象类吗？（察，一般它都是被继承的啊） 4，stru
  • 动态数组的存储速度比较 集合框架 百合不是茶 集合框架
    集合框架： 自定义数据结构(增删改查等) package 数组; /** * 创建动态数组 * @author 百合 * */ public class ArrayDemo{ //定义一个数组来存放数据 String[] src = new String[0]; /** * 增加元素加入容器 * @param s要加入容器
  • 用JS实现一个JS对象，对象里有两个属性一个方法 bijian1013 js对象
    <html> <head> </head> <body> 用js代码实现一个js对象，对象里有两个属性，一个方法 </body> <script> var obj={a:'1234567',b:'bbbbbbbbbb',c:function(x){
  • 探索JUnit4扩展：使用Rule bijian1013 java单元测试JUnitRule
            在上一篇文章中，讨论了使用Runner扩展JUnit4的方式，即直接修改Test Runner的实现(BlockJUnit4ClassRunner)。但这种方法显然不便于灵活地添加或删除扩展功能。下面将使用JUnit4.7才开始引入的扩展方式——Rule来实现相同的扩展功能。 1. Rule       &n
  • [Gson一]非泛型POJO对象的反序列化 bit1129 POJO
    当要将JSON数据串反序列化自身为非泛型的POJO时，使用Gson.fromJson(String, Class)方法。自身为非泛型的POJO的包括两种： 1. POJO对象不包含任何泛型的字段 2. POJO对象包含泛型字段，例如泛型集合或者泛型类 Data类 a.不是泛型类， b.Data中的集合List和Map都是泛型的 c.Data中不包含其它的POJO    
  • 【Kakfa五】Kafka Producer和Consumer基本使用 bit1129 kafka
    0.Kafka服务器的配置 一个Broker， 一个Topic Topic中只有一个Partition（）   1. Producer： package kafka.examples.producers; import kafka.producer.KeyedMessage; import kafka.javaapi.producer.Producer; impor
  • lsyncd实时同步搭建指南——取代rsync+inotify ronin47
    1. 几大实时同步工具比较 1.1 inotify + rsync 最近一直在寻求生产服务服务器上的同步替代方案，原先使用的是 inotify + rsync，但随着文件数量的增大到100W+，目录下的文件列表就达20M，在网络状况不佳或者限速的情况下，变更的文件可能10来个才几M，却因此要发送的文件列表就达20M，严重减低的带宽的使用效率以及同步效率；更为要紧的是，加入inotify
  • java-9. 判断整数序列是不是二元查找树的后序遍历结果 bylijinnan java
    public class IsBinTreePostTraverse{ static boolean isBSTPostOrder(int[] a){ if(a==null){ return false; } /*1.只有一个结点时，肯定是查找树 *2.只有两个结点时，肯定是查找树。例如{5,6}对应的BST是 6 {6,5}对应的BST是
  • MySQL的sum函数返回的类型 bylijinnan javaspringsqlmysqljdbc
    今天项目切换数据库时，出错 访问数据库的代码大概是这样： String sql = "select sum(number) as sumNumberOfOneDay from tableName"; List<Map> rows = getJdbcTemplate().queryForList(sql); for (Map row : rows
  • java设计模式之单例模式 chicony java设计模式
    在阎宏博士的《JAVA与模式》一书中开头是这样描述单例模式的： 　　作为对象的创建模式，单例模式确保某一个类只有一个实例，而且自行实例化并向整个系统提供这个实例。这个类称为单例类。 单例模式的结构 　　单例模式的特点： 单例类只能有一个实例。 单例类必须自己创建自己的唯一实例。 单例类必须给所有其他对象提供这一实例。 　　饿汉式单例类   publ
  • javascript取当月最后一天 ctrain JavaScript
    <!--javascript取当月最后一天--> <script language=javascript> var current = new Date(); var year = current.getYear(); var month = current.getMonth(); showMonthLastDay(year, mont
  • linux tune2fs命令详解 daizj linuxtune2fs查看系统文件块信息
    一.简介： tune2fs是调整和查看ext2/ext3文件系统的文件系统参数，Windows下面如果出现意外断电死机情况，下次开机一般都会出现系统自检。Linux系统下面也有文件系统自检，而且是可以通过tune2fs命令，自行定义自检周期及方式。 二.用法： Usage: tune2fs [-c max_mounts_count] [-e errors_behavior] [-g grou
  • 做有中国特色的程序员 dcj3sjt126com 程序员
      从出版业说起 网络作品排到靠前的，都不会太难看，一般人不爱看某部作品也是因为不喜欢这个类型，而此人也不会全不喜欢这些网络作品。究其原因，是因为网络作品都是让人先白看的，看的好了才出了头。而纸质作品就不一定了，排行榜靠前的，有好作品，也有垃圾。 许多大牛都是写了博客，后来出了书。这些书也都不次，可能有人让为不好，是因为技术书不像小说，小说在读故事，技术书是在学知识或温习知识，有
  • Android：TextView属性大全 dcj3sjt126com textview
    android:autoLink    设置是否当文本为URL链接/email/电话号码/map时，文本显示为可点击的链接。可选值(none/web/email/phone/map/all)  android:autoText    如果设置，将自动执行输入值的拼写纠正。此处无效果，在显示输入法并输
  • tomcat虚拟目录安装及其配置 eksliang tomcat配置说明tomca部署web应用tomcat虚拟目录安装
    转载请出自出处：http://eksliang.iteye.com/blog/2097184 1.-------------------------------------------tomcat  目录结构 config：存放tomcat的配置文件 temp  ：存放tomcat跑起来后存放临时文件用的 work   ： 当第一次访问应用中的jsp
  • 浅谈：APP有哪些常被黑客利用的安全漏洞 gg163 APP
    首先，说到APP的安全漏洞，身为程序猿的大家应该不陌生；如果抛开安卓自身开源的问题的话，其主要产生的原因就是开发过程中疏忽或者代码不严谨引起的。但这些责任也不能怪在程序猿头上，有时会因为BOSS时间催得紧等很多可观原因。由国内移动应用安全检测团队爱内测（ineice.com）的CTO给我们浅谈关于Android 系统的开源设计以及生态环境。 1. 应用反编译漏洞：APK 包非常容易被反编译成可读
  • C#根据网址生成静态页面 hvt Web.netC#asp.nethovertree
    HoverTree开源项目中HoverTreeWeb.HVTPanel的Index.aspx文件是后台管理的首页。包含生成留言板首页，以及显示用户名，退出等功能。根据网址生成页面的方法：   bool CreateHtmlFile(string url, string path) { //http://keleyi.com/a/bjae/3d10wfax.htm stri
  • SVG 教程 （一） 天梯梦 svg
    SVG 简介 SVG 是使用 XML 来描述二维图形和绘图程序的语言。 学习之前应具备的基础知识： 继续学习之前，你应该对以下内容有基本的了解： HTML XML 基础 如果希望首先学习这些内容，请在本站的首页选择相应的教程。 什么是SVG？ SVG 指可伸缩矢量图形 (Scalable Vector Graphics) SVG 用来定义用于网络的基于矢量
  • 一个简单的java栈 luyulong java数据结构栈
    public class MyStack { private long[] arr; private int top; public MyStack() { arr = new long[10]; top = -1; } public MyStack(int maxsize) { arr = new long[maxsize]; top
  • 基础数据结构和算法八：Binary search sunwinner AlgorithmBinary search
    Binary search needs an ordered array so that it can use array indexing to dramatically reduce the number of compares required for each search, using the classic and venerable binary search algori
  • 12个C语言面试题，涉及指针、进程、运算、结构体、函数、内存，看看你能做出几个！ 刘星宇 c面试
    12个C语言面试题，涉及指针、进程、运算、结构体、函数、内存，看看你能做出几个！ 1.gets()函数 问：请找出下面代码里的问题： #include<stdio.h> int main(void) {     char buff[10];     memset(buff,0,sizeof(buff));
  • ITeye 7月技术图书有奖试读获奖名单公布 ITeye管理员 活动ITeye试读
    ITeye携手人民邮电出版社图灵教育共同举办的7月技术图书有奖试读活动已圆满结束，非常感谢广大用户对本次活动的关注与参与。 7月试读活动回顾： http://webmaster.iteye.com/blog/2092746 本次技术图书试读活动的优秀奖获奖名单及相应作品如下（优秀文章有很多，但名额有限，没获奖并不代表不优秀）： 《Java性能优化权威指南》
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他