3 mysql查询截取分析

个人专题目录

---

mysql中，索引，主键，唯一索引，联合索引的区别

MySQL单表百万数据记录分页性能优化

mysql设计总结

MySQL数据库与SQL优化

mysql的架构介绍

mysql索引优化分析

mysql查询截取分析

mysql锁机制

mysql主从复制

1. 查询优化

1. 观察，至少跑1天，看看生产的慢SQL情况
2. 开启慢查询日志，设置阀值，比如超过5秒种的就是慢SQL，并将它抓取出来。
3. explain+慢SQL分析
4. show profile
5. DBA进行SQL数据库服务器的参数调优。

1.1 永远小表驱动大表 类似嵌套循环Nested Loop

Case

优化原则：小表驱动大表，即小的数据集驱动大的数据集。
select * from A where id in (select id from B)
等价于：
for select id from B 
for select * from A where A.id = B.id

当B表的数据集远小于A表的数据集时，用in优于exists.
select * from A where exists (select 1 from B where B.id = A.id)
等价于
for select * from A 
for select * from B where B.id = A.id

当A表的数据集小于B表的数据集时，用exists优于in.
注意：A表与B表的ID字段应建立索引。

• EXISTS
  • SELECT ... FROM table WHERE EXISTS (subquery)
  • 此语法可以理解为：将主查询的数据，放到子查询中做条件验证，根据验证结果（TRUE或FALSE）来决定主查询的数据结果是否得以保留

1.2 order by关键字优化

ORDER BY子句，尽量使用Index方式排序，避免使用FileSort方式排序

建表SQL

Case

1

clip_image163.jpg

2

clip_image165.jpg

MySQL支持二种方式的排序，FileSort和Index,Index效率高。 它指MySQL扫描索引本身完成排序。FileSort方式效率较低。

ORDER BY满足两情况，会使用Index方式排序

ORDER BY语句使用索引最左前列

使用where子句与OrderBy子句条件列组合满足索引最左前列

尽可能在索引列上完成排序操作，遵照索引建的最佳左前缀

如果不在索引列上，filesort有两种算法： mysql就要启动双路排序和单路排序

双路排序

MySQL4.1之前是使用双路排序，字面意思是两次扫描磁盘，最终得到数据。 读取行指针和orderby列，对他们进行排序，然后扫描已经排序好的列表，按照列表中的值重新从列表中读取对应的数据传输

从磁盘取排序字段，在buffer进行排序，再从磁盘取其他字段。

取一批数据，要对磁盘进行两次扫描，众所周知，I\O是很耗时的，所以在mysql4.1之后，出现了第二张改进的算法，就是单路排序。

单路排序

从磁盘读取查询需要的所有列，按照orderby列在buffer对它们进行排序，然后扫描排序后的列表进行输出， 它的效率更快一些，避免了第二次读取数据，并且把随机IO变成顺序IO，但是它会使用更多的空间， 因为它把每一行都保存在内存中了。

结论及引申出的问题

参阅: 优化策略

由于单路是后出来的，总体而言好过双路

但是用单路有问题

• 在sort_buffer中，方法B比方法A要多占用很多空间，因为方法B是把所有字段都取出，所以有可能取出的数据的总大小超出了sort_buffer的容量，导致每次只能取sort_buffer容量大小的数据，进行排序（创建tmp文件，多路合并），排完再取sort_buffer容量大小，再排... 从而多次IO.

优化策略

增大sort_buffer_size参数的设置

增大max_length_for_sort_data参数的设置

why

提高Order By的速度

1. Order by 时select * 是一个大忌只Query需要的字段，这点非常重要，在这里的影响是：
   1. 当Query的字段大小总和小于max_length_for_sort_data而且排序字段不是TEXT|BLOB类型时，会用改进后的算法---单路排序，否则用老算法--多路排序。
   2. 两种算法的数据都有可能超出sort_buffer的容量，超出之后，会创建tmp文件进行合并排序，导致多次IO,但是用单路排序算法的风险会更大一些，所有要提高sort_buffer_size.
2. 尝试提高sort_buffer_size,不管用哪种算法，提高 这个参数都会提高效率，当然，要根据系统的能力去提高，因为这个参数是针对每个进程的
3. 尝试提高max_length_for_sort_data，提高这个参数，会增加用改进算法的概率，但是如果设的太高，数据总容量超出sort_buffer_size的概率就增大，明显症状是高的磁盘IO活动和低的处理器使用率。

小总结

clip_image171.jpg

1.3 GROUP BY关键字优化

groupby实质是先排序后进行分组，遵照索引建的最佳左前缀

当无法使用索引列，增大max_length_for_sort_data参数的设置+增大sort_buffer_size参数的设置

where高于having,能写在where限定的条件就不要去having限定了。

2. 慢查询日志

2.1 是什么

• Mysql的慢查询日志是Mysql提供的一种日志记录，它用来记录在Mysql中响应时间超过阀值的语句，具体指运行时间超过long_query_time值的SQL，则会被记录到慢查询日志中。
• 具体指运行时间超过long_query_time值的SQL，则会被记录到慢查询日志中。long_query_time的默认值为10，意思是运行10s以上的语句。

2.2 怎么玩

说明

默认情况下，myql数据库没有开启慢查询日志，需要我们手动来设置这个参数。

当然，如果不是调优需要的话，一般不建议启动该参数，因为开启慢查询日志会带来一定的性能影响。慢查询日志支持将日志记录到文件

查看是否开启及如何开启

默认

SHOW VARIABLES LIKE '%slow_query_log%'

开始

set global slow_query_log = 1 开启了慢查询日志只对当前数据库生效，如果mysql重启后则会失效。

如果要永久生效，就必须修改配置文件my.cnf

slow_query_log=1
slow_query_log_file=/var/lib/mysql/slow.log

那么开启慢查询日志后，什么样的SQL参会记录到慢查询里面？

这个是由参数long_query_time控制，默认情况下long_query_time的值为10秒

Case

查看当前多少秒算慢

SHOW VARIABLES LIKE 'long_query_time%';

设置慢的阙值时间

set global long_query_time=3;

为什么设置后看不出变化？

需要重新连接或者新开一个回话才能看到修改值。 SHOW VARIABLES LIKE 'long_query_time%';

show global variables like 'long_query_time';

记录慢SQL并后续分析

查询当前系统中有多少条慢查询记录

clip_image189.jpg

2.3 日志分析工具mysqldumpshow

在生产环境中，如果要手工分析日志，查找、分析SQL,显然是个体力活，mysql提供了日志分析工具mysqldumpslow.

查看mysqldumpshow的帮助信息,mysqldumpslow --help

s:是表示按何种方式排序

c:访问次数

l:锁定时间

r:返回记录

t:查询时间

al:平均锁定时间

ar:平均返回记录数

at:平均查询时间

t:即为返回前面多少条的数据

g:后边搭配一个正则匹配模式，大小写不敏感的

工作常用参考

得到返回记录最多的10个sql
mysqldumpslow -s r -t 10 /var/lib/mysql/slow.log
得到访问次数最多的10个SQL
mysqldumpslow -s C -t 10 /var/lib/mysql/slow.log
得到按照时间排序的前10条里面含有左连接的查询语句
mysqldumpslow -s t -t 10 "left join" /var/lib/mysql/slow.log
另外建议使用命令时结合|more

3. 批量数据脚本

3.1 往表里插入1000W数据

1.建表

2.设置参数log_trust_function_createors

clip_image199.jpg

3创建函数保证每条数据都不同

clip_image201.jpg

随机产生字符串

随机产生部门编号

4.创建存储过程

clip_image203.jpg

创建往emp表中插入数据的存储过程

创建往dept表中插入数据的存储过程

5.调用存储过程

dept

emp

4. Show profiles

4.1 是什么：是mysql提供可以用来分析当前会话中语句执行的资源消耗情况。可以用于SQL的调优测量

4.2 官网：http://dev.mysql.com/doc/refman/5.5/en/show-profile.html

4.3 默认情况下，参数处于关闭状态，并保存最近15次的运行结果

4.4 分析步骤

1.是否支持，看看当前的SQL版本是否支持

show varables like 'profiling'; //默认是关闭，使用前需要开启。

2.开启功能，默认是关闭，使用前需要开启

3.运行SQL

select * from emp group by id%10 limit 150000

select * from emp group by id%20 order by 5

4.查看结果，show profiles;

5.诊断SQL，show profile cpu,block io for query 上一步前面的问题SQL 数字号码；

clip_image207.jpg

参数备注

type:
ALL 显示所有的开销信息
BLOCK IO 显示块IO相关开销
CONTEXT SWITCHES 上下文切换相关开销
CPU 显示CPU相关开销信息
IPC 显示发送和接收相关开销信息
PAGE FAULTS 显示页面错误相关开销信息
SOURCE 显示和Source_function,source_file,source_line 相关开销信息
SWAPS 显示交换次数相关开销信息

6.日常开发需要注意的结论

converting HEAP to MyISAM 查询结果太大，内存都不够用了往磁盘上搬了。

Creating tmp table 创建临时表

clip_image211.jpg

拷贝数据到临时表

用完再删除

Copying to tmp table on disk 把内存中临时表复制到磁盘，危险！！！

locked

5. 全局查询日志

5.1 配置启用

在mysql的my.cnf中，设置如下：

#开启
general_log=1
# 记录日志文件的路径
general_log_file=/path/logfile
#输出格式
log_output=FILE

5.2 编码启用

• set global general_log=1;
• set global log_output='TABLE';
• select * from mysql.general_log;

5.3 永远不要在生产环境开启这个功能。