数据库性能测试

数据库架构设计
数据库性能测试的目的以及范围
数据库的常用架构
数据库主从同步的工作原理
数据库分库分表的设计方法

性能测试的目的
发现数据库相关的所有性能瓶颈

性能测试范围
sql语句-慢查询等
资源使用率
数据库架构的合理性
数据库性能指标

数据库常用架构
一主多从

一主多从

读写分离。可以多个数据库。分担了单台服务器的压力。
有可能会存在主从延时。

  双机热备

双机热备

VIP是虚拟IP
数据库的压力并为分压。

  主从同步

master将改变记录到二进制日志(binary log)种
slave将master的binary log events拷贝到它的中继日志(relay log)
slave重做中继日志的事件，将反映它自己的数控

分库分表
拆分的原因
单表或库数据量太大
硬件不能升级或无法升级

分库分表方案
业务拆分
按着业务模块来拆分数据库

垂直拆分
水平拆分- 一致性哈西算法：

水平拆分

QPS
queries per seconds 每秒钟查询数量
命令：show global status like 'Question%'
mysql> show global status like 'Question%';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| Questions | 3 |
+---------------+-------+
1 row in set (0.00 sec)

TPS
tranaction per seconds
TPS = (Com_commit + Com_rollback) / seconds
mysql> show global status like 'Com_commit';
mysql> show global status like 'Com_rollback';

线程连接数
mysql> show global status like 'Max_used_connections'; //使用最大的连接数
mysql> show global status like 'Thread%'; //线程连接数

mysql> show global status like 'Max_connections'; //设置最大连接数

Query Cache
查询缓存用于缓存select查询结果
当下次接受到相同查询请求时，不再执行实际查询处理而直接返回结果
适用于大量查询，很少改变表中数据
修改my.cnf
将query_cache_size设置为具体的大小，具体大小是多少取决于查询的实际情况，单最好设置为1024的倍数，参考值32M
增加一行：query_cache_type=0/1 / 2
如果设置为1，将会缓存所有的结果，除非你的select语句使用SQL_NO_CACHE禁用了查询缓存。
如果设置为2，则只缓存在select语句中通过SQL_CACHE指定需要缓存的查询
mysql> show global status like 'Qcache%'; //Query Cache命中率
Query_cache_hits = (Qcache_hits / (Qcache_hits + Qcache_inserts)) * 100%;

锁定状态
mysql> show global status like '%lock%';
Table_locks_waited/Table_locks_immediate 值越大代表表锁造成的阻塞越严重
Innodb_row_lock_waits innodb行锁，太大可能是间隙锁造成的

主从延时
查询主从延时时间
mysql> show

MySQL慢查询
慢查询定义
执行速度超过定义的时间的查询
不同的系统定义不同的慢查询指标

慢查询的开启
编辑/etc/my.cnf，在[mysqld]域中添加:
开启慢查询：slow_query_log=1
慢查询日志路径:slow_query_log_file=/data/mysql/slow.log(可以自定义路径)
慢查询的时长：long_query_time=1
未使用索引的查询也被记录到慢查询日志中
log_queries_not_using_indexes=1

慢查询日志分析
mysqldumpslow命令
-s 是表示按照何种方式排序
-t 是top n的医生，即为返回前面多少条的数据
-g 后边可以写一个正则匹配模式，大小写不敏感的
mysqldumpslow -s 更多参数
c:访问计数
l : 锁定时间
r:返回记录
t:查询时间
al:平均锁定时间
ar:平均返回记录数
at:平均查询时间
得到返回记录集最多的10个SQL
mysqldumpslow -s -r -t 10 slow.log
得到访问次数最多的10个SQL
mysqldumpslow -s c -t 10 slow.log
得到按照时间排序的前10条里面含有左连接的查询语句
mysqldumpslow -s t -t 10 -g "left join" slow.log

SQL语句性能分析
explain执行计划
用法:explain select语句
mysql> explain select * from user;
+----+-------------+-------+------+---------------+------+---------+------+------+-------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+-------+------+---------------+------+---------+------+------+-------+
| 1 | SIMPLE | user | ALL | NULL | NULL | NULL | NULL | 3 | |
+----+-------------+-------+------+---------------+------+---------+------+------+-------+
1 row in set (0.00 sec)

explain返回结果分析
id
select识别符，代表语句的执行顺序，一般在select嵌套查询时会不同
id列数字越大越先执行，如果说数字一样大，那就从上往下依次执行
id列为null的就表示这是一个结果集，不需要使用它来进行查询

select_type
simple:表示不需要union操作或者不包含子查询的简单select查询。有连接查询时，外层的查询为simple，且只有一个。
primary：一个需要union操作或者含有子查询的select，位于最外层的单位查询的select_type即为primary。且只有一个。
union：union连接的两个select查询，第一个查询是dervied派生表，除了第一个表外，第二个以后的表select_type都是union
dependent union：与union一样，出现在union或union all语句中，但是这个查询要收到外部查询的影响。
union result:包含union的结果集，在union和union all语句中，因为它不需要参与查询，所以id字段为Null。
subquery:除了from自居中包含的子查询外，其他地方出现的子查询都可能是subquery
dependent subquery：与dependent union类似，表示这个subquery的查询要收到外部表查询的影响
derived:from字句中出现的子查询，也叫做派生表，其他数据库中可能叫内联视图或嵌套select

table
显示的查询表名
如果查询使用了别名，那么这里显示的也是别名
如果不涉及对数据表的操作，那么这显示为null
如果显示为尖括号起来的就表示这个是临时表

type
依次从好到差：system,const,eq_ref,ref,fulltest,ref_or_null,unique_subquery,index_subquery,range,index_merge,index,ALL
除了ALL之外，其他的type都可以使用索引，除了index_merge之外，其他的type只可以用到一个索引。
system：表中只有一行数据或者是空表，且只能用于myisam和memory表。如果是Innodb引擎表，type列在这个情况通常都是all或者index
const:使用唯一索引或者主键，返回记录一点是1行记录的等值where条件时，通常type是const。其他数据库也叫做唯一索引扫描。
eq_ref：出现在要连接过个表的查询计划中，驱动表只返回一行数据，且这行数据是第二个表的主键或者唯一索引，且必须为not null，唯一索引和主键是多列时，只有所有的列都用作比较时才会出现eq_ref
ref：不像eq_ref那样要求连接顺序，也有主键和唯一索引的要求，只要是哦那个相等条件检索时就可能出现，常见与辅助索引的等值查找。或者多列主键、唯一索引中，使用第一个列之外的列作为等值查找也会出现，总之，返回数据不唯一的等值查找就可能出现。
fulltext：全文索引检索，要注意，全文索引的优先级很高，若全文索引和普通索引同时存在时，MySQL不管代价，优先选择使用全文索引。
ref_or_null：与ref方法类似，只是增加了null值的比较。实际用的不多
unique_subquery：用于where中的in形式子查询，子查询返回不重复唯一值
index_subquery：用于in形式子查询使用到了辅助索引或者in常数列表，子查询可能返回重复值，可以使用索引将子查询去重
range:索引范围扫描，常见于使用>,<,is null,between,in,like等运算符的查询中
index_merge：表示查询使用了两个以上的索引，最后取交集或者并集，常见and，or的条件使用了不同的索引，官方排序这个在ref_or_null之后，但是实际上由于要听取所有索引，性能可能大部分时间都不如range
index：索引全表扫描，把索引从头到尾扫一遍，常见于使用索引列就可以处理不需要读取数据文件的查询、可以使用索引排序或者分组查询。
ALL：这个就是全表扫描数据文件，然后再再server层进行过滤返回符合要求的记录。

possible_keys
查询可能使用的索引都会在这里列处理

key
查询真正使用的索引，select_type为index_merge时，这里可能出现两个以上的索引，其他的select_type这里只会出现一个。

key_len
用于处理查询的索引长度，如果是单列索引，那就整个索引长度算进去，如果是多列索引，那么查询不一定都能使用到所有的列，具体使用到了多少个列的索引，这里都会计算进去，没有使用到的列，这里不会计算进去。

ref
如果是使用的常数等值查询，这里会显示const，如果是连接查询，被驱动表的执行计划这里会显示驱动表的关联字段，如果是条件使用了表达式或者函数，或者条件列发生了内部隐式转换，这里可能显示为func

rows
这里是执行计划中估算的扫描行数，不说精确值

Extra常见返回
distince:在select部分使用了distinct关键字
no tables used：不带from字句的查询或者From dual查询
using filesort：排序时无法使用到索引时，就会出现整个。常见于orderby 和 group by语句中
using index : 查询时不需要会表查询，直接通过索引就可以获取查询的数据
using intersect：表示使用and的各个索引的条件时，该信息表示是从处理结果获取交集
using union : 表示使用or连接各个使用索引的条件时，该信息表示从处理结果获取并集
using where：表示存储引擎返回的记录并不是所有的都满足查询条件，需要在server层进行过滤