MySQL原理简介—10.SQL语句和执行计划

大纲

1.什么是执行计划

2.执行计划包含哪些内容

3.SQL语句和执行计划的总结

4.SQL语句使用多个二级索引

5.多表关联的SQL语句如何执行

6.全表扫描执行计划的成本计算方法

7.索引的成本计算方法

8.MySQL如何优化执行计划

9.explain的参数说明

1.什么是执行计划

(1)什么是SQL优化

一般开发一个系统，都是先设计表结构，表结构必须满足业务需求。然后写代码，代码写完后，根据代码是如何查询表来设计表的索引，需要考虑设计几个索引，选择哪些字段作索引，是不是联合索引，以及如何排列索引字段的顺序才能让查询语句都用上索引。

普通的SQL优化就是设计好索引，让不太复杂的普通查询都能用上索引。但针对复杂表结构和大数据量的上百行的复杂的SQL优化，必须要理解复杂SQL是怎么执行的，而这就涉及到执行计划。

(2)什么是执行计划

执行SQL语句时，面对磁盘上的大量数据表、聚簇索引和二级索引：如何检索查询、如何筛选过滤、如何使用函数、如何进行排序、如何进行分组、怎样把数据按照SQL查出来，这个过程就是执行计划。

也就是说，每次提交一个SQL语句给MySQL。它的查询优化器，都会针对这个SQL语句的语义去生成一个执行计划，这个执行计划会包含如何查各个表、用到哪些索引、如何做排序和分组，一般基于执行计划来进行SQL优化。

(3)什么是SQL调优

根据SQL语句执行计划，去想办法改写SQL语句，改良表的索引设计，进而优化SQL语句的执行计划，最终提升SQL的执行性能。

2.执行计划包含哪些内容

(1)const

如果可以直接通过聚簇索引或者二级索引+回表聚簇索引，轻松查出数据。那么这种根据主键索引就能直接查出数据的过程，在执行计划里称为const。类似如下的SQL，建立的索引是key(id)和key(name)。

mysql> select * from table where id=x;
mysql> select * from table where name=x;

执行计划里的count，代表的意思是性能超高的常量级。所以执行计划里出现const，表明SQL会通过索引查询数据，速度极快。

但需要注意的是：二级索引必须是唯一索引才是属于const方式。即必须建立unique key唯一索引，保证二级索引的每一个值都是唯一的，这时根据二级索引查询才是const。

(2)ref

如果查询时使用的普通的二级索引只有一列，并且不是唯一索引，那么查询的速度也很快，它在执行计划里叫做ref。类似如下SQL，建立的索引是key(name)。

mysql> select * from table where name=x;

如果查询时使用的普通的二级索引包含多列，那么必须从索引最左侧开始连续多个列都是等值比较才是属于ref方式。类似如下SQL，建立的索引是key(name,age,sex)。

mysql> select * from table where 
name=x and age=x and sex=x;

如果使用name is null这种查询，即使name是主键或者唯一索引，还是只能通过ref方式来查询。

(3)ref_or_null

如果查询时使用了普通的二级索引而且还限定了is null，类似如下SQL，那么在执行计划里就是ref_or_null。

mysql> select * from table where 
name=x or name is null;

所以，当我们在分析执行计划时：看到了const，表明肯定是通过主键/唯一索引访问的，速度超高。看到了ref，表明用了普通索引，或主键/唯一索引使用is not null。看到了ref_or_null，表明用了普通索引，而且还限定了is null。

(4)range

如果SQL里面对索引有范围查询，那么就会用这个range方式。类似如下SQL语句，假设age就是一个普通索引，此时必然通过索引来进行范围筛选。一旦利用索引范围筛选，那么这种方式就是range。

mysql> select * from table where 
age > x and age < y;

(5)index

假设有一个表，里面有个联合索引key(x1, x2, x3)，现在有如下SQL语句。这个SQL是没办法直接从联合索引的索引树根节点开始二分查找的。但这个SQL里要查的几个字段，恰好就是联合索引里的几个字段。

mysql> select x1, x2, x3 from table where x2=xxx;

因为聚簇索引的叶子节点放的是完整的数据页，联合索引的叶子节点放的数据页只包含索引字段的值和主键的值。所以这种SQL的查询，会直接遍历这个联合索引的索引树的叶子节点。一个个遍历，找到x2=xxx的那条数据。然后把x1,x2,x3三个字段的值提取出来即可，不需要回源到聚簇索引。

遍历二级索引的过程，要比遍历聚簇索引快得多。毕竟二级索引叶子节点只包含几个字段值，比聚簇索引叶子节点小很多。

这种只需要遍历二级索引就可获取想要查询的数据，而不需要回表到聚簇索引的查询方式，就叫做index。

(6)all

全表扫描，扫描聚簇索引的所有子节点。

(7)总结

const、ref和range，都是基于索引树进行二分查找和多层跳转来查询的。所以const、ref和range的性能一般都很高，然后index的速度就比前面这三种要差一些，因为index是通过遍历二级索引的叶子节点的方式来执行，所以index肯定比二分查找慢但比全表扫描好。

3.SQL语句和执行计划的总结

(1)const、ref和range本质都是基于索引查询

只要索引查出来的数据量不是特别大，一般性能都极为高效。

(2)index稍微次一点，需要遍历某个二级索引

但是因为二级索引比较小，所以遍历性能也还可以。

(3)最差的就是all，意味着全表扫描

即扫描聚簇索引的所有叶子节点，一个表一行一行数据去扫描。如果数据量很大，全表扫描就很危险了。

(4)SQL语句的执行计划案例

案例一：

mysql> select * from table where 
x1 = xxx and x2 > xx;

这个SQL语句要查一个表，用了x1和x2两个字段。如果给x1和x2建立联合索引，那么是可以直接通过索引去扫描的。但如果现在建了只有(x1, x3)和(x2, x4)这两个联合索引，此时MySQL只能选择其中一个索引去用，会选哪个？这时MySQL负责生成执行计划的查询优化器，一般会选择在索引里扫描行数比较少的那个。

比如x1 = xx，在索引里只要做等值比较，扫描数据比较少。那么可能就会挑选x1的索引，然后基于其索引树进行查找。在执行计划里，对应于ref的方式，找到几条数据后再接着进行回表。回到聚簇索引里去查出每条数据的完整信息，然后把这些信息加载到内存，根据x2 > xx条件进行筛选。

案例二：

mysql> select * from table where 
x1=xx and c1=xx and c2>xx and c3 is not null;

我们经常会写出类似上述这样的SQL，就是SQL的所有筛选条件里，只有一个x1有索引，其他字段都没索引。这种情况还是很常见的，因为不可能针对所有SQL的where字段都加索引，我们一般只能抽取部分经常在where里用到的字段来设计两三个联合索引。

这种SQL语句，where后的条件有好几个，但只有一个字段可用到索引。此时查询优化器生成的执行计划，只会针对x1字段执行ref方式的查询，也就是通过x1字段的索引树快速找到符合x1=xx的一大堆数据。接着会根据这一大堆数据回表到聚簇索引里，查出每条数据的完整字段。然后将这些包含完整字段的数据加载到内存里去。接着就可以在内存针对这些数据的c1,c2,c3字段按条件进行筛选和过滤。最后便可以拿到符合条件的数据。

因此为了保证后续的查询性能比较高，所以针对x1索引的设计，需要尽可能让x1=xx这个条件在索引树里查找出来的数据量比较少。

4.SQL语句使用多个二级索引

一般一个SQL语句只会用到一个二级索引，但是一些特殊的情况下，可能一个SQL语句会用到多个二级索引。比如有SQL语句：

mysql> select * from table where x1=xx and x2=xx;

其中x1和x2分别有一个索引，查询优化器会生成如下这样的执行计划：先对x1的索引树查找出一批数据，再对x2的索引树查找出另一批数据，然后两批数据按主键值做交集，这个交集就是符合两个条件的数据了，最后再回表到聚簇索引去获取完整的数据。

什么情况下会对两个字段的两个索引一起查，然后取交集再回表呢？什么情况下会查多个索引树呢？

如果同时查两个索引树再取交集后的数据量很小，那么根据这少量数据回表到聚簇索引查询，就可以提升性能。所以是否会查多个索引树的标准是，能否提升性能。因此执行计划里出现了intersection交集、union并集等，意思就是查询时使用了多个索引，最后对结果集做交集或并集。

5.多表关联的SQL语句如何执行

(1)多表关联的基本原理

如下SQL语句在from后接了两个表，表示对两个表的数据关联起来查询。如果多表关联查询时没有限定多表连接条件，那么会直接进行笛卡尔积。比如"select * from t1,t2;"就会使用笛卡尔积，但一般会加限定关联条件。

mysql> select * from t1,t2 where 
t1.x1=xx and t1.x2=t2.x2 and t2.x3=xx;

上面SQL语句的关联条件是"t1.x2=t2.x2"，所以其执行过程是：首先根据t1.x1=xx这个筛选条件去t1表里查询，可能使用了const、ref、index、all，具体要看索引如何建的。然后将筛选出来的结果，根据结果中x2的值，去t2表查询，也就是去t2表里查找t2.x2等于这些x2的值以及t2.x3=xx都匹配的数据。

这就是多表关联的基本原理，先查的表叫驱动表，根据先查出的数据再去查的另外一张表叫被驱动表。

(2)几种连接

一.内连接inner join

两个表里的数据必须是完全能关联上，才能将数据返回来。

二.左外连接left join

左侧表的某条数据在右侧表关联不到任何数据，也把左侧表该数据返回。

三.右外连接right join

右侧表的某条数据在左侧表关联不到任何数据，也把右侧表该数据返回。

四.语法限制

如果是内连接，那么连接条件可放在where语句里。如果是外连接，那么连接条件需放在on字句里。

(3)嵌套循环关联

假设有两个表要一起执行关联，此时会先在一个驱动表里根据它的where筛选条件找出一批数据。接着对这批数据进行循环，用每条数据都到另外一个被驱动表里，根据ON连接条件和where里的被驱动表筛选条件去查找数据。

假设从驱动表找出1000条数据，那么就要到被驱动表查询1000次。所以很多时候多表关联是很慢的。

因此针对多表查询的语句，尽量给两个表都加上索引。索引要确保从驱动表里查询是通过驱动表的索引去查找，接着对被驱动表查询也是通过被驱动表的索引去查找。

6.全表扫描执行计划的成本计算方法

(1)MySQL如何根据成本估算选择执行计划

(2)执行一个SQL语句的IO成本

(3)执行一个SQL语句的CPU成本

(4)评估SQL语句执行成本的案例

(1)MySQL如何根据成本估算选择执行计划

MySQL在执行单表查询时：对应的一些执行计划是诸如const、ref、range、index、all之类的。

MySQL在执行多表关联时：本质就是先查驱动表，接着根据连接条件再去被驱动表循环查询。

MySQL是如何对一个查询语句的多个执行计划评估成本的？MySQL如何根据成本评估选择一个成本最低的执行计划的？

执行一个SQL语句的成本一般分成两部分：IO成本和CPU成本。

(2)执行一个SQL语句的IO成本

首先这些数据需要从磁盘里读出来，从磁盘读数据到内存就是IO成本。而且MySQL里都是一页一页读的，读一页的IO成本约定为1.0。

(3)执行一个SQL语句的CPU成本

然后内存拿到数据后，需要对数据进行操作，比如验证是否符合搜索条件或者排序分组等，这些属于CPU成本。一般约定读取和检测一条数据是否符合条件的成本是0.2。

(4)评估SQL语句执行成本的案例

比如执行如下SQL语句：

mysql> select * from t where x1=xx and x2=xx;

步骤一：假设该表有两个索引分别是针对x1和x2建立的，那么MySQL会先看这个SQL可以用到哪几个索引。由于发现x1和x2都有可能，于是possible_keys。

步骤二：接着会针对这个SQL计算一下全表扫描的成本，全表扫描需要进行磁盘IO把聚簇索引里的叶子节点上的数据页读到内存，所以磁盘文件上有多少的数据页就会耗费多少的IO成本。然后还需要对内存里的每一条数据都判断是否符合搜索条件，读取到内存里有多少条数据就需要耗费多少CPU成本。

(5)如何计算执行成本

可以使用命令show table status like "表名"拿到表的统计信息。MySQL在对表进行增删改的时候，MySQL会维护这个表的统计信息。比如rows记录表的记录数，data_length记录表的聚簇索引的字节数大小。

使用data_length除以1024就是KB大小，再除以16就是数据页的数量。通过估算数据页的数量和rows记录数，就可以计算全表扫描的成本了。

IO成本就是：数据页数量 * 1.0 + 微调值；CPU成本就是：行记录数 * 0.2 + 微调值；两者相加就是一个总成本。比如一个表有100个数据页，记录数有2万条。那么执行总成本值大致就是 100 + 4000 = 4100。

7.索引的成本计算方法

如果是根据主键查，那么直接通过聚簇索引查询就可以了。

如果是根据非主键字段查，该字段也建了索引。那么一般会首先从二级索引查一批数据，然后再根据这批数据的主键去聚簇索引回表查。最后对比全表扫描的估算成本和索引的估算成本，选成本低的执行计划。所以有时候出现不用索引而用全表扫描，就是因为索引的估算成本更高。

8.MySQL如何优化执行计划

(1)优化SQL语句的清晰语义

(2)子查询的优化

(1)优化SQL语句的清晰语义

从而方便后续在索引和数据页里进行查找，比如类似"i=5 and j>i"这样的会常量替换成"i=5 and j>5"，比如类似"x=y and y=k and k=3"会常量替换成"x=3 and y=3 and k=3"，比如类似"b=b and a=a"这种没意义的就直接删掉条件了。

(2)子查询的优化

如下SQL执行时会分两步：先执行子查询，再执行select * from t1 where...

mysql> select * from t1 where 
x1=(select x1 from t2 where id = xxx);

像上述这种单表查询可以直接用上索引还好，但有时用不上索引就会基于内存或者临时文件执行。

如下SQL会先通过子查询先查一批结果，然后判断t1表里哪些数据的x1值在这个结果集里。

mysql> select * from t1 where 
x1 in (select x2 from t2 where x3 = xxx);

如果先执行子查询，然后对t1表再进行全表扫描，而全表扫描会判断每条数据是否在该子查询的结果集里，那么效率就会非常低。

因此对于上述子查询，执行计划会被优化为：先执行子查询，然后再把子查询查出来的数据写入临时表。临时表也叫物化表，即把中间结果集进行物化。

这个物化表可能会基于memory存储引擎来通过内存存放。如果结果集太大，则可能采用普通B+树聚簇索引的方式放在磁盘里。这个物化表都会建立索引，所以这种中间结果写入物化表都是有索引的。

如果t1表的数据量很大比如10万，但物化表结果集的数据量只有500条。那么此时会由全表扫描t1表改成全表扫描物化表，这也是其中一种子查询的优化。

9.explain的参数说明

(1)id

select查询的序列号，包含一组数字，表示查询中执行select子句或者操作表的顺序。

(2)select_type

主要用来分辨查询的类型，是普通查询还是联合查询还是子查询。

(3)table

对应行正在访问哪一个表，表名或者别名，可能是临时表或者union合并结果集。

(4)type

type显示的是访问类型，访问类型表示以何种方式去访问数据。比如全表扫描，直接遍历一张表去寻找需要的数据，效率非常低下。

访问的类型有很多，效率从最好到最坏依次是：system > const > eq_ref > ref > ref_or_null > index_merge > unique_subquery > index_subquery > range > index > all

一般情况下，得保证查询至少达到range级别，最好能达到ref。

--all:全表扫描，一般情况下出现这样的sql语句而且数据量比较大的话那么就需要进行优化。
explain select * from emp;

--index：全索引扫描这个比all的效率要好；
--主要有两种情况，一种是当前的查询时覆盖索引，即我们需要的数据在索引中就可以索取，或者是使用了索引进行排序，这样就避免数据的重排序
explain  select empno from emp;

--range：表示利用索引查询的时候限制了范围，在指定范围内进行查询，这样避免了index的全索引扫描；
--适用的操作符：=, <>, >, >=, <, <=, IS NULL, BETWEEN, LIKE, or IN() 
explain select * from emp where empno between 7000 and 7500;

--index_subquery：利用索引来关联子查询，不再扫描全表
explain select * from emp where emp.job in (select job from t_job);

--unique_subquery:该连接类型类似与index_subquery,使用的是唯一索引 
explain select * from emp e where e.deptno in (select distinct deptno from dept); 

--index_merge：在查询过程中需要多个索引组合使用，没有模拟出来

--ref_or_null：对于某个字段即需要关联条件，也需要null值的情况下，查询优化器会选择这种访问方式
explain select * from emp e where  e.mgr is null or e.mgr=7369;

--ref：使用了非唯一性索引进行数据的查找 
create index idx_3 on emp(deptno); 
explain select * from emp e,dept d where e.deptno = d.deptno;

--eq_ref ：使用唯一性索引进行数据查找
explain select * from emp,emp2 where emp.empno = emp2.empno;

--const：这个表至多有一个匹配行
explain select * from emp where empno = 7369; 

--system：表只有一行记录(等于系统表)，这是const类型的特例，平时不会出现

(5)possible_keys

显示可能应用在这张表中的索引，一个或多个。查询涉及到的字段上若存在索引，则该索引将被列出。但这些列出的索引，不一定会被查询实际使用。

(6)key

实际使用的索引，如果为null，则没有使用索引。查询中若使用了覆盖索引，则该索引和查询的select字段重叠。

(7)key_len

表示索引中使用的字节数，可以通过key_len计算查询中使用的索引长度，在不损失精度的情况下长度越短越好。

(8)ref

显示索引的哪一列被使用了，如果可能的话，是一个常数。

(9)rows

根据表的统计信息及索引使用情况，大致估算找出所需记录要读取的行数。此参数很重要，直接反应SQL找了多少数据，当然其数值越少越好。

(10)extra

包含额外的信息：

--using filesort:说明mysql无法利用索引进行排序，只能利用排序算法进行排序，会消耗额外的位置
explain select * from emp order by sal;

--using temporary:建立临时表来保存中间结果，查询完成之后把临时表删除
explain select ename,count(*) from emp where deptno = 10 group by ename;

--using index:这个表示当前的查询时覆盖索引的，直接从索引中读取数据，而不用访问数据表。
--如果同时出现using where 表名索引被用来执行索引键值的查找，如果没有，表面索引被用来读取数据，而不是真的查找
explain select deptno,count(*) from emp group by deptno limit 10;

--using where:使用where进行条件过滤
explain select * from t_user where id = 1;

--using join buffer:使用连接缓存，情况没有模拟出来

--impossible where：where语句的结果总是false
explain select * from emp where empno = 7469;