本文由雲+社區發表 文章《MySQL查詢分析》講述了使用MySQL慢查詢和explain命令來定位mysql性能瓶頸的方法，定位出性能瓶頸的sql語句後，則需要對低效的sql語句進行優化。本文主要討論MySQL索引原理及常用的sql查詢優化。 一個簡單的對比測試 前面的案例中，c2c_zwdb.t_ ...
本文由雲+社區發表
文章《MySQL查詢分析》講述了使用MySQL慢查詢和explain命令來定位mysql性能瓶頸的方法，定位出性能瓶頸的sql語句後，則需要對低效的sql語句進行優化。本文主要討論MySQL索引原理及常用的sql查詢優化。
一個簡單的對比測試
前面的案例中，c2c_zwdb.t_file_count表只有一個自增id，FFileName欄位未加索引的sql執行情況如下：
在上圖中，type=all，key=null，rows=33777。該sql未使用索引，是一個效率非常低的全表掃描。如果加上聯合查詢和其他一些約束條件，資料庫會瘋狂的消耗記憶體，並且會影響前端程式的執行。
這時給FFileName欄位添加一個索引：
alter table c2c_zwdb.t_file_count add index index_title(FFileName);
再次執行上述查詢語句，其對比很明顯：
在該圖中，type=ref，key=索引名（index_title），rows=1。該sql使用了索引index_title，且是一個常數掃描，根據索引只掃描了一行。
比起未加索引的情況，加了索引後，查詢效率對比非常明顯。
MySQL索引
通過上面的對比測試可以看出，索引是快速搜索的關鍵。MySQL索引的建立對於MySQL的高效運行是很重要的。對於少量的數據，沒有合適的索引影響不是很大，但是，當隨著數據量的增加，性能會急劇下降。如果對多列進行索引(組合索引)，列的順序非常重要，MySQL僅能對索引最左邊的首碼進行有效的查找。
下麵介紹幾種常見的MySQL索引類型。
索引分單列索引和組合索引。單列索引，即一個索引只包含單個列，一個表可以有多個單列索引，但這不是組合索引。組合索引，即一個索引包含多個列。
1、MySQL索引類型
(1) 主鍵索引 PRIMARY KEY
它是一種特殊的唯一索引，不允許有空值。一般是在建表的時候同時創建主鍵索引。
當然也可以用 ALTER 命令。記住：一個表只能有一個主鍵。
(2) 唯一索引 UNIQUE
唯一索引列的值必須唯一，但允許有空值。如果是組合索引，則列值的組合必須唯一。可以在創建表的時候指定，也可以修改表結構，如：
ALTER TABLE table_name ADD UNIQUE (column)
(3) 普通索引 INDEX
這是最基本的索引，它沒有任何限制。可以在創建表的時候指定，也可以修改表結構，如：
ALTER TABLE table_name ADD INDEX index_name (column)
(4) 組合索引 INDEX
組合索引，即一個索引包含多個列。可以在創建表的時候指定，也可以修改表結構，如：
ALTER TABLE table_name ADD INDEX index_name(column1, column2, column3)
(5) 全文索引 FULLTEXT
全文索引（也稱全文檢索）是目前搜索引擎使用的一種關鍵技術。它能夠利用分詞技術等多種演算法智能分析出文本文字中關鍵字詞的頻率及重要性，然後按照一定的演算法規則智能地篩選出我們想要的搜索結果。
可以在創建表的時候指定，也可以修改表結構，如：
ALTER TABLE table_name ADD FULLTEXT (column)
2、索引結構及原理
mysql中普遍使用B+Tree做索引，但在實現上又根據聚簇索引和非聚簇索引而不同，本文暫不討論這點。
b+樹介紹
下麵這張b+樹的圖片在很多地方可以看到，之所以在這裡也選取這張，是因為覺得這張圖片可以很好的詮釋索引的查找過程。
如上圖，是一顆b+樹。淺藍色的塊我們稱之為一個磁碟塊，可以看到每個磁碟塊包含幾個數據項（深藍色所示）和指針（黃色所示），如磁碟塊1包含數據項17和35，包含指針P1、P2、P3，P1表示小於17的磁碟塊，P2表示在17和35之間的磁碟塊，P3表示大於35的磁碟塊。
真實的數據存在於葉子節點，即3、5、9、10、13、15、28、29、36、60、75、79、90、99。非葉子節點不存儲真實的數據，只存儲指引搜索方向的數據項，如17、35並不真實存在於數據表中。
查找過程
在上圖中，如果要查找數據項29，那麼首先會把磁碟塊1由磁碟載入到記憶體，此時發生一次IO，在記憶體中用二分查找確定29在17和35之間，鎖定磁碟塊1的P2指針，記憶體時間因為非常短（相比磁碟的IO）可以忽略不計，通過磁碟塊1的P2指針的磁碟地址把磁碟塊3由磁碟載入到記憶體，發生第二次IO，29在26和30之間，鎖定磁碟塊3的P2指針，通過指針載入磁碟塊8到記憶體，發生第三次IO，同時記憶體中做二分查找找到29，結束查詢，總計三次IO。真實的情況是，3層的b+樹可以表示上百萬的數據，如果上百萬的數據查找只需要三次IO，性能提高將是巨大的，如果沒有索引，每個數據項都要發生一次IO，那麼總共需要百萬次的IO，顯然成本非常非常高。
性質
(1) 索引欄位要儘量的小。
通過上面b+樹的查找過程，或者通過真實的數據存在於葉子節點這個事實可知，IO次數取決於b+數的高度h。
假設當前數據表的數據量為N，每個磁碟塊的數據項的數量是m，則樹高h=㏒(m+1)N，當數據量N一定的情況下，m越大，h越小；
而m = 磁碟塊的大小/數據項的大小，磁碟塊的大小也就是一個數據頁的大小，是固定的；如果數據項占的空間越小，數據項的數量m越多，樹的高度h越低。這就是為什麼每個數據項，即索引欄位要儘量的小，比如int占4位元組，要比bigint8位元組少一半。
(2) 索引的最左匹配特性。
當b+樹的數據項是複合的數據結構，比如(name,age,sex)的時候，b+數是按照從左到右的順序來建立搜索樹的，比如當(張三,20,F)這樣的數據來檢索的時候，b+樹會優先比較name來確定下一步的所搜方向，如果name相同再依次比較age和sex，最後得到檢索的數據；但當(20,F)這樣的沒有name的數據來的時候，b+樹就不知道下一步該查哪個節點，因為建立搜索樹的時候name就是第一個比較因數，必須要先根據name來搜索才能知道下一步去哪裡查詢。比如當(張三,F)這樣的數據來檢索時，b+樹可以用name來指定搜索方向，但下一個欄位age的缺失，所以只能把名字等於張三的數據都找到，然後再匹配性別是F的數據了， 這個是非常重要的性質，即索引的最左匹配特性。
建索引的幾大原則
(1) 最左首碼匹配原則
對於多列索引，總是從索引的最前面欄位開始，接著往後，中間不能跳過。比如創建了多列索引(name,age,sex)，會先匹配name欄位，再匹配age欄位，再匹配sex欄位的，中間不能跳過。mysql會一直向右匹配直到遇到範圍查詢(>、<、between、like)就停止匹配。
一般，在創建多列索引時，where子句中使用最頻繁的一列放在最左邊。
看一個補符合最左首碼匹配原則和符合該原則的對比例子。
實例：表c2c_db.t_credit_detail建有索引(Flistid,Fbank_listid)
不符合最左首碼匹配原則的sql語句：
select * from t_credit_detail where Fbank_listid='201108010000199'\G
該sql直接用了第二個索引欄位Fbank_listid，跳過了第一個索引欄位Flistid，不符合最左首碼匹配原則。用explain命令查看sql語句的執行計劃，如下圖：
從上圖可以看出，該sql未使用索引，是一個低效的全表掃描。
符合最左首碼匹配原則的sql語句：
select * from t_credit_detail where Flistid='2000000608201108010831508721' and Fbank_listid='201108010000199'\G
該sql先使用了索引的第一個欄位Flistid，再使用索引的第二個欄位Fbank_listid，中間沒有跳過，符合最左首碼匹配原則。用explain命令查看sql語句的執行計劃，如下圖：
從上圖可以看出，該sql使用了索引，僅掃描了一行。
對比可知，符合最左首碼匹配原則的sql語句比不符合該原則的sql語句效率有極大提高，從全表掃描上升到了常數掃描。
(2) 儘量選擇區分度高的列作為索引。
比如，我們會選擇學號做索引，而不會選擇性別來做索引。
(3) =和in可以亂序
比如a = 1 and b = 2 and c = 3，建立(a,b,c)索引可以任意順序，mysql的查詢優化器會幫你優化成索引可以識別的形式。
(4) 索引列不能參與計算，保持列“乾凈”
比如：Flistid+1>‘2000000608201108010831508721‘。原因很簡單，假如索引列參與計算的話，那每次檢索時，都會先將索引計算一次，再做比較，顯然成本太大。
(5) 儘量的擴展索引，不要新建索引。
比如表中已經有a的索引，現在要加(a,b)的索引，那麼只需要修改原來的索引即可。
索引的不足
雖然索引可以提高查詢效率，但索引也有自己的不足之處。
索引的額外開銷：
(1) 空間：索引需要占用空間；
(2) 時間：查詢索引需要時間；
(3) 維護：索引須要維護（數據變更時）；
不建議使用索引的情況：
(1) 數據量很小的表
(2) 空間緊張
常用優化總結
優化語句很多，需要註意的也很多，針對平時的情況總結一下幾點：
1、有索引但未被用到的情況（不建議）
(1) Like的參數以通配符開頭時
儘量避免Like的參數以通配符開頭，否則資料庫引擎會放棄使用索引而進行全表掃描。
以通配符開頭的sql語句，例如：select * from t_credit_detail where Flistid like '%0'\G
這是全表掃描，沒有使用到索引，不建議使用。
不以通配符開頭的sql語句，例如：select * from t_credit_detail where Flistid like '2%'\G
很明顯，這使用到了索引，是有範圍的查找了，比以通配符開頭的sql語句效率提高不少。
(2) where條件不符合最左首碼原則時
例子已在最左首碼匹配原則的內容中有舉例。
(3) 使用！= 或 <> 操作符時
儘量避免使用！= 或 <>操作符，否則資料庫引擎會放棄使用索引而進行全表掃描。使用>或<會比較高效。
select * from t_credit_detail where Flistid != '2000000608201108010831508721'\G
(4) 索引列參與計算
應儘量避免在 where 子句中對欄位進行表達式操作，這將導致引擎放棄使用索引而進行全表掃描。
select * from t_credit_detail where Flistid +1 > '2000000608201108010831508722'\G
(5) 對欄位進行null值判斷
應儘量避免在where子句中對欄位進行null值判斷，否則將導致引擎放棄使用索引而進行全表掃描，如： 低效：select * from t_credit_detail where Flistid is null ;
可以在Flistid上設置預設值0，確保表中Flistid列沒有null值，然後這樣查詢： 高效：select * from t_credit_detail where Flistid =0;
(6) 使用or來連接條件
應儘量避免在where子句中使用or來連接條件，否則將導致引擎放棄使用索引而進行全表掃描，如： 低效：select * from t_credit_detail where Flistid = '2000000608201108010831508721' or Flistid = '10000200001';
可以用下麵這樣的查詢代替上面的 or 查詢： 高效：select from t_credit_detail where Flistid = '2000000608201108010831508721' union all select from t_credit_detail where Flistid = '10000200001';
2、避免select *
在解析的過程中，會將'*' 依次轉換成所有的列名，這個工作是通過查詢數據字典完成的，這意味著將耗費更多的時間。
所以，應該養成一個需要什麼就取什麼的好習慣。
3、order by 語句優化
任何在Order by語句的非索引項或者有計算表達式都將降低查詢速度。
方法：1.重寫order by語句以使用索引；
2.為所使用的列建立另外一個索引
3.絕對避免在order by子句中使用表達式。4、GROUP BY語句優化
提高GROUP BY 語句的效率, 可以通過將不需要的記錄在GROUP BY 之前過濾掉
低效:
SELECT JOB , AVG(SAL)
FROM EMP
GROUP by JOB
HAVING JOB = ‘PRESIDENT'
OR JOB = ‘MANAGER'
高效:
SELECT JOB , AVG(SAL)
FROM EMP
WHERE JOB = ‘PRESIDENT'
OR JOB = ‘MANAGER'
GROUP by JOB
5、用 exists 代替 in
很多時候用 exists 代替 in 是一個好的選擇： select num from a where num in(select num from b) 用下麵的語句替換： select num from a where exists(select 1 from b where num=a.num)
6、使用 varchar/nvarchar 代替 char/nchar
儘可能的使用 varchar/nvarchar 代替 char/nchar ，因為首先變長欄位存儲空間小，可以節省存儲空間，其次對於查詢來說，在一個相對較小的欄位內搜索效率顯然要高些。
7、能用DISTINCT的就不用GROUP BY
SELECT OrderID FROM Details WHERE UnitPrice > 10 GROUP BY OrderID
可改為：
SELECT DISTINCT OrderID FROM Details WHERE UnitPrice > 10
8、能用UNION ALL就不要用UNION
UNION ALL不執行SELECT DISTINCT函數，這樣就會減少很多不必要的資源。
9、在Join表的時候使用相當類型的例，並將其索引
如果應用程式有很多JOIN 查詢，你應該確認兩個表中Join的欄位是被建過索引的。這樣，MySQL內部會啟動為你優化Join的SQL語句的機制。
而且，這些被用來Join的欄位，應該是相同的類型的。例如：如果你要把 DECIMAL 欄位和一個 INT 欄位Join在一起，MySQL就無法使用它們的索引。對於那些STRING類型，還需要有相同的字元集才行。（兩個表的字元集有可能不一樣）
此文已由作者授權騰訊雲+社區在各渠道發佈
獲取更多新鮮技術乾貨，可以關註我們騰訊雲技術社區-雲加社區官方號及知乎機構號
