Mysql-2.Explain详解与索引优化最佳实践

学习内容重点：

1.Explain使用与详解

2.从B+树底层分析常见索引优化原则

3.Mysql索引最佳实践

Explain工具介绍

参考官方文档：MySQL :: MySQL 5.7 Reference Manual :: 8.8.2 EXPLAIN Output Format

在 select 语句之前增加 explain 关键字，MySQL 会在查询上设置一个标记，执行查询会返回执行计划的信息，而不是执行这条SQL

注意：如果 from 中包含子查询，仍会执行该子查询，将结果放入临时表中

Explain分析示例

参考官方文档：MySQL :: MySQL 5.7 Reference Manual :: 8.8.2 EXPLAIN Output Format

actor表

film表

film_actor表

explain 两个变种

1）explain extended：会在 explain  的基础上额外提供一些查询优化的信息，也就是多了filtered字段

紧随其后通过 show warnings 命令可以得到优化后的查询语句，从而看出优化器优化了什么。

2）explain partitions：相比 explain 多了个 partitions 字段，partitions指表的分区（现在很少用，一般用分库分表）

3）filtered：是一个百分比的值，rows * filtered/100 可以估算出将要和 explain 中前一个表进行连接的行数（前一个表指 explain 中的id值比当前表id值小的表）（用的很少）

4) 5.7版本后的会直接有两个字段（早期的版本没有partions/filtered）

explain中的列

接下来我们将展示 explain 中每个列的信息。

1. id列

id列越大执行优先级越高，id相同则从上往下执行，id为NULL最后执行。

2. select_type列

官网的释义：

select_type 表示对应行是简单还是复杂的查询。介绍几种常用的属性值：

1）simple：简单查询。不包含子查询和union。

2）primary：复杂查询中最外层的 select

3）subquery：包含在 select 中的子查询（不在 from 子句中）

4）derived：包含在 from 子句中的子查询。MySQL会将结果存放在一个临时表中，也称为派生表

eg：用这个例子来了解 primary、subquery 和 derived 类型

理解：先执行id为3的sql，也就是 select * from film where id = 1 ，执行的结果生成一张表，再执行子查询 select 1 from actor where id = 1，执行的结果是常量，最后查询出来的也是常量值，执行速度很快。

5）union：在 union 中的第二个和随后的 select

3. table列

官网的释义：

这一列表示 explain 的一行正在访问哪个表。

4. partitions列

官网的释义：

如果查询是基于分区表的话，partitions 字段会显示查询将访问的分区。

5. type列

官网的释义：

这一列表示关联类型或访问类型，即MySQL决定如何查找表中的行。

依次从最优到最差分别为：system > const > eq_ref > ref > range > index > ALL

一般来说，得保证查询达到range级别，最好达到ref

NULL：mysql能够在优化阶段分解查询语句，在执行阶段用不着再访问表或索引。

eg: 使用函数，例如min最小值，可能在执行优化阶段就去索引树直接找最小值，因为id是排好序的，直接找第一个就可以，都不一定访问表，速度很快

执行结果集：

const, system：const代表常量的意思。system是const的特例，表里只有一条元素匹配时为system。

eg: 如下图所示，该sql语句经过执行器优化时，将其部分转化为一个常量，所以表最多有一个匹配行，读取一次，速度很快。

dual是虚表的意思，下面的message一栏出现的sql相当于是一个伪sql，满足sql的语法，写死了常量。

执行结果集：

eq_ref：primary key 或 unique key 索引的所有部分被连接使用 ，最多只会返回一条符合条件的记录。

eg:下面的sql中的关联涉及到两张表的查询，他们之间没有明确的先后顺序，正真执行的开始从上往下执行。

对于type是eq_ref的查询来说，film表用的又是主键，只会返回一条符合条件的记录，但是film_actor表是All就不一定了，会返回多条

执行结果集：

ref：相比 eq_ref，不使用唯一索引，而是使用普通索引或者唯一性索引的部分前缀，索引要和某个值相比较，可能会找到多个符合条件的行。

1. 简单 select 查询，name是普通索引，被索引的数据列可以重复（非唯一索引）

执行结果集：

2.关联表查询，idx_film_actor_id是film_id和actor_id的联合索引，这里使用到了film_actor的左边前缀film_id部分。

执行结果集：

range：范围扫描通常出现在 in(), between ,> ,= 等操作中。使用一个索引来检索给定范围的行。

eg: 在下列sql查询语句中，用到了actor表的主键id，结合思考innodb的索引结构的叶子节点是双向连接的，只要查询到id为1 的叶子节点之后往右依次查询到大于1的结果集。

index：扫描全索引就能拿到结果，一般是扫描某个二级索引，这种扫描不会从索引树根节点开始快速查找，而是直接对二级索引的叶子节点遍历和扫描，速度还是比较慢的，这种查询一般为使用覆盖索引，二级索引一般比较小，所以这种通常比ALL快一些。

eg：下面的查询语句中film表的数据字段有id，name，而且film表建有name的二级索引，结合索引结构可以理解，叶子节点的data部分存放的是主键id，这样name索引就包含了全部的数据，不用再回表查询了。但是film再多加一个字段，可能就走主键索引了，也有可能不走，这里面有mysql的成本计算。

执行结果集：

ALL：即全表扫描，扫描你的聚簇索引的所有叶子节点。通常情况下这需要增加索引来进行优化了。

执行结果集：

ps:全表扫描效率最低，聚簇索引树从叶子节点开始扫描，加上where 条件有可能会从根节点开始扫;

表的数据少，全表扫描效率可能更高，范围拆成几段，可能会走索引

6. possible_keys列

官网的释义：

这一列显示查询可能使用哪些索引来查找。 

explain 时可能出现 possible_keys 有列，而 key 显示 NULL 的情况，这种情况是因为表中数据不多，mysql认为索引对此查询帮助不大，选择了全表查询。 

如果该列是NULL，则没有相关的索引。在这种情况下，可以通过检查 where 子句看是否可以创造一个适当的索引来提高查询性能，然后用 explain 查看效果。

7. key列

官网的释义：

这一列显示mysql实际采用哪个索引来优化对该表的访问。

如果没有使用索引，则该列是 NULL。如果想强制mysql使用或忽视possible_keys列中的索引，在查询中使用 force index、ignore index。

8. key_len列

官网的释义：

这一列显示了mysql在索引里使用的字节数，通过这个值可以算出具体使用了索引中的哪些列。 

eg: film_actor的联合索引 idx_film_actor_id 由 film_id 和 actor_id 两个int列组成，并且每个int是4字节。通过结果中的key_len=4可推断出查询使用了第一个列：film_id列来执行索引查找。

key_len计算规则如下：

• 字符串，char(n)和varchar(n)，5.0.3以后版本中，n均代表字符数，而不是字节数，如果是utf-8，一个数字或字母占1个字节，一个汉字占3个字节

• • char(n)：如果存汉字长度就是 3n 字节
  • varchar(n)：如果存汉字则长度是 3n + 2 字节，加的2字节用来存储字符串长度，因为varchar是变长字符串

• 数值类型

• • tinyint：1字节
  • smallint：2字节
  • int：4字节
  • bigint：8字节　　

• 时间类型　

• • date：3字节
  • timestamp：4字节
  • datetime：8字节

• 如果字段允许为 NULL，需要1字节记录是否为 NULL

索引最大长度是768字节，当字符串过长时，mysql会做一个类似左前缀索引的处理，将前半部分的字符提取出来做索引。

9. ref列

官网的释义：

这一列显示了在key列记录的索引中，表查找值所用到的列或常量，常见的有：const（常量），字段名（例：film.id）

10. rows列

官网的释义：

这一列是mysql估计要读取并检测的行数，注意这个不是结果集里的行数。

11. filtered 列

官网的释义：

该列是一个百分比的值，rows * filtered/100 可以估算出将要和 explain 中前一个表进行连接的行数（前一个表指 explain 中的id值比当前表id值小的表）。

12. Extra列 (里面的属性大多情况用不着，只介绍几种常用的)

官网的释义：

这一列展示的是额外信息。常见的重要值如下： 

1）Using index：使用覆盖索引

覆盖索引定义：mysql执行计划explain结果里的key有使用索引，如果select后面查询的字段都可以从这个索引的树中获取，这种情况一般可以说是用到了覆盖索引，extra里一般都有using index；覆盖索引一般针对的是辅助索引，整个查询结果只通过辅助索引就能拿到结果，不需要通过辅助索引树找到主键，再通过主键去主键索引树里获取其它字段值

eg: 下面的sql语句需要查询的字段是film_id 而在film_actor表中建了联合索引，包含该查询的字段，所以走了这个联合索引，不需要通过这个联合索引树找到主键，再通过主键去主键索引树里获取其它字段值。

2）Using where：使用 where 语句来处理结果，并且查询的列未被索引覆盖

eg:因为actor没有建立索引，这种情况下可以建立索引来试下

下面的是加了name索引的

3）Using index condition：查询的列不完全被索引覆盖，where条件中是一个前导列的范围；

eg:下面的sql语句查询的是film_actor表中的film_id>1的信息，结合思考innodb的索引结构的叶子节点是双向连接的，从根节点二分查找，找到id为1 的叶子节点之后往右依次遍历大于id>1的结果集。（key_len代表用到了联合索引的第一个字段）

4）Using temporary：mysql需要创建一张临时表来处理查询。出现这种情况一般是要进行优化的，首先是想到用索引来优化。

下面2个是对比：

1. actor.name没有索引，此时创建了张临时表来distinct

2. film.name建立了idx_name索引，此时查询时extra是using index,没有用临时表

5）Using filesort：将用外部排序而不是索引排序，数据较小时从内存排序，否则需要在磁盘完成排序。这种情况下一般也是要考虑使用索引来优化的。

1. actor.name未创建索引，会浏览actor整个表，保存排序关键字name和对应的id，然后排序name并检索行记录

2. film.name建立了idx_name索引,此时查询时extra是using index

6）Select tables optimized away：使用某些聚合函数（比如 max、min）来访问存在索引的某个字段

eg:使用函数，例如min最小值，可能在执行优化阶段就去索引树直接找最小值，因为id是排好序的，直接找第一个就可以，都不一定访问表，速度很快

索引最佳实践

employees表

1.全值匹配

eg: 走了联合索引的最左边的name字段，name字段的长度为24,key_len的74是 24*3+2=74

eg:走了联合索引的最左边的name字段与age字段，name字段的长度为24,age的字段长度为4，key_len的78是 74+4=78

eg:走了联合索引的全部字段，name字段的长度为24,age的字段长度为4,position字段长度为20，key_len的140是 78+20*3+2=140

如果打乱了索引字段，mysql也是会优化成按循序来的查询的

2.最左前缀法则

如果索引了多列，要遵守最左前缀法则。指的是查询从索引的最左前列开始并且不跳过索引中的列。

eg:第一行走了联合索引的最左边的name字段与age字段，就正常走了索引查找，第二行，第三行去掉了name，走不了联合索引，因为索引树的结构就是先以name排序的，如果去掉了name，索引就没了意义。

3.不在索引列上做任何操作（计算、函数、（自动or手动）类型转换），会导致索引失效而转向全表扫描

eg:举个例子：name为“LiLei”，left(name,3) 就代表字段被截取成“LiL“，就相当于拿着不完整的姓名去查索引是查不出来的，也不是有序的

eg:用date函数给雇佣时间转换，得到的时间在索引树里是没有的，就走不了索引。

转化为日期范围查询，有可能会走索引：

eg:用范围来查找代表这个时间在索引里是存在的完整值，可以走这个二级索引来查找，再根据存的主键id回表查找。

4.存储引擎不能使用索引中范围条件右边的列

eg:第二行的sql语句 age>22是范围查找，在name字段相等的条件下在索引中是有序的，但是第三个字段position不一定就是有序的，这点在底下的key_len就可以看出，第二个是只匹配了前两个字段。

5.尽量使用覆盖索引（只访问索引的查询（索引列包含查询列）），减少 select * 语句

6.mysql在使用不等于（！=或者<>），not in ，not exists 的时候无法使用索引会导致全表扫描

< 小于、 > 大于、 = 这些，mysql内部优化器会根据检索比例、表大小等多个因素整体评估是否使用索引

eg:name不等于lilei的结果集可能很多，那这样还不如直接全表扫。

7.is null,is not null 一般情况下也无法使用索引

eg:null在普通索引中可能集聚在最右端或最左端，和其他值由双向指针指着

8.like以通配符开头（'$abc...'）mysql索引失效会变成全表扫描操作

eg: %Lilei代表lilei前面有可能其他字符比如uiqweqwueLilei，不是有序的，与索引的name字段结果可能匹配不上，无法走索引；Lei%代表最左边的字符是可以确定的也相当于索引字段的前缀，可能与name字段的结果集匹配上，就有可能走索引，有时候like KK%相当于=常量，%KK和%KK% 相当于范围

问题：解决like'%字符串%'索引不被使用的方法？

a）使用覆盖索引，查询字段必须是建立覆盖索引字段

b）如果不能使用覆盖索引则可能需要借助搜索引擎，例如es等

9.字符串不加单引号索引失效

eg: name字段是字符串类型，建议后面的值与前面相匹配，如果不匹配，mysql有可能会对值做出转型也就是函数

10.少用or或in，用它查询时，mysql不一定使用索引，mysql内部优化器会根据检索比例、表大小等多个因素整体评估是否使用索引，详见范围查询优化

11.范围查询优化

eg:可能是由于单次数据量查询过大导致优化器最终选择不走索引

没走索引原因：mysql内部优化器会根据检索比例、表大小等多个因素整体评估是否使用索引。

优化方法：可以将大的范围拆分成多个小范围

索引使用总结：

假设index(a,b,c)

Where语句	索引是否被使用
where a = 3	Y,使用到a
where a = 3 and b = 5	Y,使用到a，b
where a = 3 and b = 5 and c = 4	Y,使用到a,b,c
where b = 3 或者 where b = 3 and c = 4 或者 where c = 4	N
where a = 3 and c = 5	使用到a， 但是c不可以，b中间断了
where a = 3 and b > 4 and c = 5	使用到a和b，c不能用在范围之后，b断了
where a = 3 and b like "kk%' and c = 4	Y,使用到a,b,c
where a = 3 and b like %kk' and c = 4	Y,只用到a
where a = 3 and b like "%kk%' and c = 4	Y,只用到a
where a = 3 and b like k%kk%' and c = 4	Y,使用到a,b,c

like KK%相当于=常量，%KK和%KK% 相当于范围

以上所有的优化条件也不是绝对的，得分不同的场景，也跟MySQL底层的成本计算有关，后续会有介绍

建议：真正的生产环境需要根据业务需求来创建索引优化索引，使其能查询满足大部分的业务需求