索引 與 索引數據結構

来源:https://www.cnblogs.com/guokaifeng/archive/2019/07/30/11272896.html
-Advertisement-
Play Games

索引 [TOC] 初始索引 為什麼要有索引 什麼是索引 對索引存在的誤解 索引的原理 | 類別 | 樹名稱 | | | | | 二叉查找樹 (Binary Search Tree) | 二叉查找樹,笛卡爾樹,T 樹 | | 自平衡二叉查找樹 (Self balancing Binary Search ...


目錄

索引

初始索引

  • 為什麼要有索引

"""
一般的應用系統,讀寫比例在10:1左右,而且插入操作和一般的更新操作很少出現性能問題,在生產環境中,我們遇到最多的,
也是最容易出問題的,還是一些複雜的查詢操作,因此對查詢語句的優化顯然是重中之重。說起加速查詢,就不得不提到索引了。
"""
  • 什麼是索引

"""
索引在MySQL中也叫是一種“鍵”,是存儲引擎用於快速找到記錄的一種數據結構,索引對於良好的性能
非常關鍵,尤其是當表中的數據量越來越大時,索引對於性能的影響愈發重要,
索引優化應該是對查詢性能優化最有效的手段了,索引能夠輕易將查詢性能提高好幾個數量級,
索引相當於字典的音序表,如果要查某個字,如果不使用音序表,則需要從幾百頁中逐頁去查
"""
  • 對索引存在的誤解

"""
索引是應用程式設計和開發的一個重要方面。若索引太多,應用程式的性能可能會受到影響。而索引太少,
對查詢性能又會產生影響,要找到一個平衡點,這對應用程式的性能至關重要。一些開發人員總是在事後才想起添加索引----我一直認為,
這源於一種錯誤的開發模式。如果知道數據的使用,從一開始就應該在需要處添加索引。開發人員往往對資料庫的使用停留在應用的層面,
比如編寫SQL語句、存儲過程之類,他們甚至可能不知道索引的存在,或認為事後讓相關DBA加上即可。DBA往往不夠瞭解業務的數據流,
而添加索引需要通過監控大量的SQL語句進而從中找到問題,這個步驟所需的時間肯定是遠大於初始添加索引所需的時間,
並且可能會遺漏一部分的索引。當然索引也並不是越多越好,我曾經遇到過這樣一個問題:某台MySQL伺服器iostat顯示磁碟使用率一直處於100%,
經過分析後發現是由於開發人員添加了太多的索引,在刪除一些不必要的索引之後,磁碟使用率馬上下降為20%。可見索引的添加也是非常有技術含量的。
"""

索引的原理

"""
索引的目的在於提高查詢效率,與我們查閱圖書所用的目錄是一個道理:先定位到章,然後定位到該章下的一個小節,然後找到頁數。

本質都是:通過不斷地縮小想要獲取數據的範圍來篩選出最終想要的結果,同時把隨機的事件變成順序的事件,也就是說,
有了這種索引機制,我們可以總是用同一種查找方式來鎖定數據。

資料庫也是一樣,但顯然要複雜的多,因為不僅面臨著等值查詢,還有範圍查詢(>、<、between、in)、模糊查詢(like)、並集查詢(or)等等。
資料庫應該選擇怎麼樣的方式來應對所有的問題呢?我們回想字典的例子,能不能把數據分成段,然後分段查詢呢?最簡單的如果1000條數據,
1到100分成第一段,101到200分成第二段,201到300分成第三段......這樣查第250條數據,只要找第三段就可以了,一下子去除了90%的無效數據。
但如果是1千萬的記錄呢,分成幾段比較好?稍有演算法基礎的同學會想到搜索樹,其平均複雜度是lgN,具有不錯的查詢性能。
但這裡我們忽略了一個關鍵的問題,複雜度模型是基於每次相同的操作成本來考慮的。而資料庫實現比較複雜,一方面數據是保存在磁碟上的,
另外一方面為了提高性能,每次又可以把部分數據讀入記憶體來計算,因為我們知道訪問磁碟的成本大概是訪問記憶體的十萬倍左右,
所以簡單的搜索樹難以滿足複雜的應用場景
"""

磁碟IO與預讀

"""
前面提到了訪問磁碟,那麼這裡先簡單介紹一下磁碟IO和預讀,磁碟讀取數據靠的是機械運動,每次讀取數據花費的時間可以分為尋道時間、
旋轉延遲、傳輸時間三個部分,尋道時間指的是磁臂移動到指定磁軌所需要的時間,主流磁碟一般在5ms以下;旋轉延遲就是我們經常聽說的磁碟轉速,
比如一個磁碟7200轉,表示每分鐘能轉7200次,也就是說1秒鐘能轉120次,旋轉延遲就是1/120/2 = 4.17ms;傳輸時間指的是從磁碟讀出或將數據寫入磁碟的時間,
一般在零點幾毫秒,相對於前兩個時間可以忽略不計。那麼訪問一次磁碟的時間,即一次磁碟IO的時間約等於5+4.17 = 9ms左右,聽起來還挺不錯的,
但要知道一臺500 -MIPS(Million Instructions Per Second)的機器每秒可以執行5億條指令,因為指令依靠的是電的性質,換句話說執行一次IO的時間可以執行約450萬條指令,
資料庫動輒十萬百萬乃至千萬級數據,每次9毫秒的時間,顯然是個災難。

考慮到磁碟IO是非常高昂的操作,電腦操作系統做了一些優化,當一次IO時,不光把當前磁碟地址的數據,而是把相鄰的數據也都讀取到記憶體緩衝區內,
因為局部預讀性原理告訴我們,當電腦訪問一個地址的數據的時候,與其相鄰的數據也會很快被訪問到。每一次IO讀取的數據我們稱之為一頁(page)。
具體一頁有多大數據跟操作系統有關,一般為4k或8k,也就是我們讀取一頁內的數據時候,實際上才發生了一次IO,這個理論對於索引的數據結構設計非常有幫助。
"""

索引的數據結構 樹

"""
樹狀圖是一種[數據結構],它是由n(n>=1)個有限結點組成一個具有層次關係的[集合],把它叫做“樹”是因為它看起來像一棵倒掛的樹,
也就是說它是根朝上,而葉朝下的

樹(Tree)是由多個節點(Node)的集合組成,每個節點又有多個與其關聯的子節點(Child Node)。子節點就是直接處於節點之下的節點,
而父節點(Parent Node)則位於節點直接關聯的上方。樹的根(Root)指的是一個沒有父節點的單獨的節點。

所有的樹都呈現了一些共有的性質:
只有一個根節點;
除了根節點,所有節點都有且只有一個父節點;
無環。將任意一個節點作為起始節點,都不存在任何回到該起始節點的路徑。(正是前兩個性質保證了無環的成立。)
"""
#下圖
根結點 : A   

父節點 : A是B,C的父節點

葉子節點:D,E是葉子節點

樹的深度/樹的高度:高度為3

類別 樹名稱
二叉查找樹(Binary Search Tree) 二叉查找樹,笛卡爾樹,T 樹
自平衡二叉查找樹(Self-balancing Binary Search Tree) AA 樹,AVL 樹, 紅黑樹(Red-Black Tree), 伸展樹(Splay Tree)
B 樹(B-Tree) 2-3 樹,2-3-4 樹, B 樹,B+ 樹,B* 樹
字典樹(Trie-Tree) 尾碼樹,基數樹,三叉查找樹,快速首碼樹
空間數據分割樹(Spatial Data Partitioning Tree) R 樹,R+ 樹,R* 樹, 線段樹,優先 R 樹
  • 樹中的術語

根(Root):樹中最頂端的節點,根沒有父節點。
子節點(Child):節點所擁有子樹的根節點稱為該節點的子節點。
父節點(Parent):如果節點擁有子節點,則該節點為子節點的父節點。
兄弟節點(Sibling):與節點擁有相同父節點的節點。
子孫節點(Descendant):節點向下路徑上可達的節點。
葉節點(Leaf):沒有子節點的節點。
內節點(Internal Node):至少有一個子節點的節點。
度(Degree):節點擁有子樹的數量。
邊(Edge):兩個節點中間的鏈接。
路徑(Path):從節點到子孫節點過程中的邊和節點所組成的序列。
層級(Level):根為 Level 0 層,根的子節點為 Level 1 層,以此類推。
高度(Height)/深度(Depth):樹中層的數量。比如只有 Level 0,Level 1,Level 2 則高度為 3。

二叉樹

二叉樹是一種很經典的數據結構,二叉樹是每個結點最多有兩個子樹的樹結構。通常子樹被稱作“左子樹”(left subtree)和“右子樹”(right subtree)。
二叉樹常被用於實現二叉查找樹和二叉堆。二叉樹有如下特性:
1、每個結點都包含一個元素以及n個子樹,這裡0≤n≤2。
2、左子樹和右子樹是有順序的,次序不能任意顛倒。左子樹的值要小於父結點,右子樹的值要大於父結點。
  • 光看概念有點枯燥,假設我們現在有這樣一組數[35 27 48 12 29 38 55],順序的插入到一個數的結構中,步驟如下:

這就是一棵二叉樹啦!我們能看到,經通過一系列的插入操作之後,原本無序的一組數已經變成一個有序的結構了,並且這個樹滿足了上面提到的兩個二叉樹的特性!

# 但是如果同樣是上面那一組數,我們自己升序排列後再插入,也就是說按照[12 27 29 35 38 48 55]的順序插入,會怎麼樣呢?

平衡二叉樹

平衡二叉樹是一種特殊的二叉樹,所以他也滿足前面說到的二叉樹的兩個特性,同時還有一個特性:
它的左右兩個子樹的高度差的絕對值不超過1,並且左右兩個子樹都是一棵平衡二叉樹。

前面[35 27 48 12 29 38 55]插入完成後的圖,其實就已經是一顆平衡二叉樹啦。

那如果按照[12 27 29 35 38 48 55]的順序插入一顆平衡二叉樹,會怎麼樣呢?我們看看插入以及平衡的過程:

"""
這棵樹始終滿足平衡二叉樹的幾個特性而保持平衡!這樣我們的樹也不會退化為線性鏈表了!
我們需要查找一個數的時候就能沿著樹根一直往下找,這樣的查找效率和二分法查找是一樣的呢!

一顆平衡二叉樹能容納多少的結點呢?這跟樹的高度是有關係的,假設樹的高度為h,那每一層最多容納的結點數量為2^(n-1),
整棵樹最多容納節點數為2^0+2^1+2^2+...+2^(h-1)。這樣計算,100w數據樹的高度大概在20左右,那也就是說從有著100w條數據的平衡二叉樹中找一個數據,
最壞的情況下需要20次查找。如果是記憶體操作,效率也是很高的!但是我們資料庫中的數據基本都是放在磁碟中的,每讀取一個二叉樹的結點就是一次磁碟IO,
這樣我們找一條數據如果要經過20次磁碟的IO?那性能就成了一個很大的問題了!那我們是不是可以把這棵樹壓縮一下,讓每一層能夠容納更多的節點呢?雖然我矮,但是我胖啊...
"""

B樹

這顆矮胖的樹就是B-Tree,註意中間是杠精的杠而不是減,所以也不要讀成B減Tree了~
那B-Tree有哪些特性呢?一棵m階的B-Tree有如下特性:

1、每個結點最多m個子結點。
2、除了根結點和葉子結點外,每個結點最少有m/2(向上取整)個子結點。
3、如果根結點不是葉子結點,那根結點至少包含兩個子結點。
4、所有的葉子結點都位於同一層。
5、每個結點都包含k個元素(關鍵字),這裡m/2≤k<m,這裡m/2向下取整。
6、每個節點中的元素(關鍵字)從小到大排列。
7、每個元素(關鍵字)字左結點的值,都小於或等於該元素(關鍵字)。右結點的值都大於或等於該元素(關鍵字)。

下麵我們以一個[0,1,2,3,4,5,6,7]的數組插入一顆3階的B-Tree為例,將所有的條件都串起來,就明白了.

那麼,你是否對B-Tree的幾點特性都清晰了呢?在二叉樹中,每個結點只有一個元素。但是在B-Tree中,
每個結點都可能包含多個元素,並且非葉子結點在元素的左右都有指向子結點的指針。

如果需要查找一個元素,那流程是怎麼樣的呢?我們看下圖,如果我們要在下麵的B-Tree中找到關鍵字24,那流程如下:

從這個流程我們能看出,B-Tree的查詢效率好像也並不比平衡二叉樹高。但是查詢所經過的結點數量要少很多,
也就意味著要少很多次的磁碟IO,這對性能的提升是很大的。

前面對B-Tree操作的圖我們能看出來,元素就是類似1、2、3這樣的數值,但是資料庫的數據都是一條條的數據,
如果某個資料庫以B-Tree的數據結構存儲數據,那數據怎麼存放的呢?
#我們看下一張圖

普通的B-Tree的結點中,元素就是一個個的數字。但是上圖中,我們把元素部分拆分成了key-data的形式,key就是數據的主鍵,
data就是具體的數據。這樣我們在找一條數的時候,就沿著根結點往下找就ok了,效率是比較高的。

B+樹

B+Tree是在B-Tree基礎上的一種優化,使其更適合實現外存儲索引結構。B+Tree與B-Tree的結構很像,但是也有幾個自己的特性:

1、所有的非葉子節點只存儲關鍵字信息。
2、所有衛星數據(具體數據)都存在葉子結點中。
3、所有的葉子結點中包含了全部元素的信息。
4、所有葉子節點之間都有一個鏈指針。

  如果上面B-Tree的圖變成B+Tree,那應該如下:

#大家仔細對比於B-Tree的圖能發現什麼不同?
  1、非葉子結點上已經只有key信息了,滿足上面第1點特性!
  2、所有葉子結點下麵都有一個data區域,滿足上面第2點特性!
  3、非葉子結點的數據在葉子結點上都能找到,如根結點的元素4、8在最底層的葉子結點上也能找到,滿足上面第3點特性!
  4、註意圖中葉子結點之間的箭頭,滿足滿足上面第4點特性!

"""
我們現在總結一下,我們需要這種數據結構能夠做些什麼,其實很簡單,那就是:每次查找數據時把磁碟IO次數控制在一個很小的數量級,
最好是常數數量級。那麼我們就想到如果一個高度可控的多路搜索樹是否能滿足需求呢?就這樣,b+樹應運而生(B+樹是通過二叉查找樹,再由平衡二叉樹,B樹演化而來)。
"""
  • b+樹性質

1.索引欄位要儘量的小:通過上面的分析,我們知道IO次數取決於b+數的高度h,假設當前數據表的數據為N,
每個磁碟塊的數據項的數量是m,則有h=㏒(m+1)N,當數據量N一定的情況下,m越大,h越小;而m = 磁碟塊的大小 / 數據項的大小,
磁碟塊的大小也就是一個數據頁的大小,是固定的,如果數據項占的空間越小,數據項的數量越多,樹的高度越低。這就是為什麼每個數據項,
即索引欄位要儘量的小,比如int占4位元組,要比bigint8位元組少一半。這也是為什麼b+樹要求把真實的數據放到葉子節點而不是內層節點,
一旦放到內層節點,磁碟塊的數據項會大幅度下降,導致樹增高。當數據項等於1時將會退化成線性表。

2.索引的最左匹配特性:當b+樹的數據項是複合的數據結構,比如(name,age,sex)的時候,b+數是按照從左到右的順序來建立搜索樹的,
比如當(張三,20,F)這樣的數據來檢索的時候,b+樹會優先比較name來確定下一步的所搜方向,如果name相同再依次比較age和sex,
最後得到檢索的數據;但當(20,F)這樣的沒有name的數據來的時候,b+樹就不知道下一步該查哪個節點,因為建立搜索樹的時候name就是第一個比較因數,
必須要先根據name來搜索才能知道下一步去哪裡查詢。比如當(張三,F)這樣的數據來檢索時,b+樹可以用name來指定搜索方向,但下一個欄位age的缺失,
所以只能把名字等於張三的數據都找到,然後再匹配性別是F的數據了, 這個是非常重要的性質,即索引的最左匹配特性。

聚集索引與輔助索引

在資料庫中,B+樹的高度一般都在2~4層,這也就是說查找某一個鍵值的行記錄時最多只需要2到4次IO,這倒不錯。
因為當前一般的機械硬碟每秒至少可以做100次IO,2~4次的IO意味著查詢時間只需要0.02~0.04秒。

資料庫中的B+樹索引可以分為聚集索引(clustered index)和輔助索引(secondary index),

聚集索引與輔助索引相同的是:不管是聚集索引還是輔助索引,其內部都是B+樹的形式,即高度是平衡的,葉子結點存放著所有的數據。

聚集索引與輔助索引不同的是:葉子結點存放的是否是一整行的信息
  • 聚集索引

#InnoDB存儲引擎表是索引組織表,即表中數據按照主鍵順序存放。
而聚集索引(clustered index)就是按照每張表的主鍵構造一棵B+樹,同時葉子結點存放的即為整張表的行記錄數據,也將聚集索引的葉子結點稱為數據頁。
聚集索引的這個特性決定了索引組織表中數據也是索引的一部分。同B+樹數據結構一樣,每個數據頁都通過一個雙向鏈表來進行鏈接。
    
#如果未定義主鍵,MySQL取第一個唯一索引(unique)而且只含非空列(NOT NULL)作為主鍵,InnoDB使用它作為聚簇索引。
    
#如果沒有這樣的列,InnoDB就自己產生一個這樣的ID值,它有六個位元組,而且是隱藏的,使其作為聚簇索引。

#由於實際的數據頁只能按照一棵B+樹進行排序,因此每張表只能擁有一個聚集索引。
在多數情況下,查詢優化器傾向於採用聚集索引。因為聚集索引能夠在B+樹索引的葉子節點上直接找到數據。
此外由於定義了數據的邏輯順序,聚集索引能夠特別快地訪問針對範圍值得查詢。
  • 聚集索引的好處

聚集索引的好處之一:它對主鍵的排序查找和範圍查找速度非常快,葉子節點的數據就是用戶所要查詢的數據。如用戶需要查找一張表,
查詢最後的10位用戶信息,由於B+樹索引是雙向鏈表,所以用戶可以快速找到最後一個數據頁,並取出10條記錄

#參照第六小結測試索引的準備階段來創建出表s1
mysql> desc s1; #最開始沒有主鍵
+--------+-------------+------+-----+---------+-------+
| Field  | Type        | Null | Key | Default | Extra |
+--------+-------------+------+-----+---------+-------+
| id     | int(11)     | NO   |     | NULL    |       |
| name   | varchar(20) | YES  |     | NULL    |       |
| gender | char(6)     | YES  |     | NULL    |       |
| email  | varchar(50) | YES  |     | NULL    |       |
+--------+-------------+------+-----+---------+-------+
rows in set (0.00 sec)

mysql> explain select * from s1 order by id desc limit 10; #Using filesort,需要二次排序
+----+-------------+-------+------------+------+---------------+------+---------+------+---------+----------+----------------+
| id | select_type | table | partitions | type | possible_keys | key  | key_len | ref  | rows    | filtered | Extra          |
+----+-------------+-------+------------+------+---------------+------+---------+------+---------+----------+----------------+
|  1 | SIMPLE      | s1    | NULL       | ALL  | NULL          | NULL | NULL    | NULL | 2633472 |   100.00 | Using filesort |
+----+-------------+-------+------------+------+---------------+------+---------+------+---------+----------+----------------+
row in set, 1 warning (0.11 sec)

mysql> alter table s1 add primary key(id); #添加主鍵
Query OK, 0 rows affected (13.37 sec)
Records: 0  Duplicates: 0  Warnings: 0

mysql> explain select * from s1 order by id desc limit 10; #基於主鍵的聚集索引在創建完畢後就已經完成了排序,無需二次排序
+----+-------------+-------+------------+-------+---------------+---------+---------+------+------+----------+-------+
| id | select_type | table | partitions | type  | possible_keys | key     | key_len | ref  | rows | filtered | Extra |
+----+-------------+-------+------------+-------+---------------+---------+---------+------+------+----------+-------+
|  1 | SIMPLE      | s1    | NULL       | index | NULL          | PRIMARY | 4       | NULL |   10 |   100.00 | NULL  |
+----+-------------+-------+------------+-------+---------------+---------+---------+------+------+----------+-------+
row in set, 1 warning (0.04 sec)
聚集索引的好處之二:範圍查詢(range query),即如果要查找主鍵某一範圍內的數據,通過葉子節點的上層中間節點就可以得到頁的範圍,之後直接讀取數據頁即可
mysql> alter table s1 drop primary key;
Query OK, 2699998 rows affected (24.23 sec)
Records: 2699998  Duplicates: 0  Warnings: 0

mysql> desc s1;
+--------+-------------+------+-----+---------+-------+
| Field  | Type        | Null | Key | Default | Extra |
+--------+-------------+------+-----+---------+-------+
| id     | int(11)     | NO   |     | NULL    |       |
| name   | varchar(20) | YES  |     | NULL    |       |
| gender | char(6)     | YES  |     | NULL    |       |
| email  | varchar(50) | YES  |     | NULL    |       |
+--------+-------------+------+-----+---------+-------+
rows in set (0.12 sec)

mysql> explain select * from s1 where id > 1 and id < 1000000; #沒有聚集索引,預估需要檢索的rows數如下
+----+-------------+-------+------------+------+---------------+------+---------+------+---------+----------+-------------+
| id | select_type | table | partitions | type | possible_keys | key  | key_len | ref  | rows    | filtered | Extra       |
+----+-------------+-------+------------+------+---------------+------+---------+------+---------+----------+-------------+
|  1 | SIMPLE      | s1    | NULL       | ALL  | NULL          | NULL | NULL    | NULL | 2690100 |    11.11 | Using where |
+----+-------------+-------+------------+------+---------------+------+---------+------+---------+----------+-------------+
row in set, 1 warning (0.00 sec)

mysql> alter table s1 add primary key(id);
Query OK, 0 rows affected (16.25 sec)
Records: 0  Duplicates: 0  Warnings: 0

mysql> explain select * from s1 where id > 1 and id < 1000000; #有聚集索引,預估需要檢索的rows數如下
+----+-------------+-------+------------+-------+---------------+---------+---------+------+---------+----------+-------------+
| id | select_type | table | partitions | type  | possible_keys | key     | key_len | ref  | rows    | filtered | Extra       |
+----+-------------+-------+------------+-------+---------------+---------+---------+------+---------+----------+-------------+
|  1 | SIMPLE      | s1    | NULL       | range | PRIMARY       | PRIMARY | 4       | NULL | 1343355 |   100.00 | Using where |
+----+-------------+-------+------------+-------+---------------+---------+---------+------+---------+----------+-------------+
row in set, 1 warning (0.09 sec)
  • 輔助索引

表中除了聚集索引外其他索引都是輔助索引(Secondary Index,也稱為非聚集索引),與聚集索引的區別是:輔助索引的葉子節點不包含行記錄的全部數據。

葉子節點除了包含鍵值以外,每個葉子節點中的索引行中還包含一個書簽(bookmark)。該書簽用來告訴InnoDB存儲引擎去哪裡可以找到與索引相對應的行數據。
由於InnoDB存儲引擎是索引組織表,因此InnoDB存儲引擎的輔助索引的書簽就是相應行數據的聚集索引鍵。

輔助索引的存在並不影響數據在聚集索引中的組織,因此每張表上可以有多個輔助索引,但只能有一個聚集索引。當通過輔助索引來尋找數據時,
InnoDB存儲引擎會遍歷輔助索引並通過葉子級別的指針獲得只想主鍵索引的主鍵,然後再通過主鍵索引來找到一個完整的行記錄。

舉例來說,如果在一棵高度為3的輔助索引樹種查找數據,那需要對這個輔助索引樹遍歷3次找到指定主鍵,如果聚集索引樹的高度同樣為3,
那麼還需要對聚集索引樹進行3次查找,最終找到一個完整的行數據所在的頁,因此一共需要6次邏輯IO訪問才能得到最終的一個數據頁。

聚集索引
1.紀錄的索引順序與無力順序相同
   因此更適合between and和order by操作
2.葉子結點直接對應數據
 從中間級的索引頁的索引行直接對應數據頁
3.每張表只能創建一個聚集索引

非聚集索引
1.索引順序和物理順序無關
2.葉子結點不直接指向數據頁
3.每張表可以有多個非聚集索引,需要更多磁碟和內容
   多個索引會影響insert和update的速度

mysql 常用的索引

  • 索引功能

#1. 索引的功能就是加速查找
#2. mysql中的primary key,unique,聯合唯一也都是索引,這些索引除了加速查找以外,還有約束的功能  
  • mysql 常用的索引

普通索引INDEX:加速查找

唯一索引:
    -主鍵索引PRIMARY KEY:加速查找+約束(不為空、不能重覆)
    -唯一索引UNIQUE:加速查找+約束(不能重覆)

聯合索引:
    -PRIMARY KEY(id,name):聯合主鍵索引
    -UNIQUE(id,name):聯合唯一索引
    -INDEX(id,name):聯合普通索引
        
舉個例子來說,比如你在為某商場做一個會員卡的系統。

這個系統有一個會員表
有下列欄位:
會員編號 INT
會員姓名 VARCHAR(10)
會員身份證號碼 VARCHAR(18)
會員電話 VARCHAR(10)
會員住址 VARCHAR(50)
會員備註信息 TEXT

那麼這個 會員編號,作為主鍵,使用 PRIMARY
會員姓名 如果要建索引的話,那麼就是普通的 INDEX
會員身份證號碼 如果要建索引的話,那麼可以選擇 UNIQUE (唯一的,不允許重覆)

#除此之外還有全文索引,即FULLTEXT
會員備註信息 , 如果需要建索引的話,可以選擇全文搜索。
用於搜索很長一篇文章的時候,效果最好。
用在比較短的文本,如果就一兩行字的,普通的 INDEX 也可以。
但其實對於全文搜索,我們並不會使用MySQL自帶的該索引,而是會選擇第三方軟體如Sphinx,專門來做全文搜索。

#其他的如空間索引SPATIAL,瞭解即可,幾乎不用
  • 索引的兩大類型hash與btree

#我們可以在創建上述索引的時候,為其指定索引類型,分兩類
hash類型的索引:查詢單條快,範圍查詢慢
btree類型的索引:b+樹,層數越多,數據量指數級增長(我們就用它,因為innodb預設支持它)

#不同的存儲引擎支持的索引類型也不一樣
InnoDB 支持事務,支持行級別鎖定,支持 B-tree、Full-text 等索引,不支持 Hash 索引;
MyISAM 不支持事務,支持表級別鎖定,支持 B-tree、Full-text 等索引,不支持 Hash 索引;
Memory 不支持事務,支持表級別鎖定,支持 B-tree、Hash 等索引,不支持 Full-text 索引;
NDB 支持事務,支持行級別鎖定,支持 Hash 索引,不支持 B-tree、Full-text 等索引;
Archive 不支持事務,支持表級別鎖定,不支持 B-tree、Hash、Full-text 等索引;
  • 創建/刪除索引的語法

#方法一:創建表時
      CREATE TABLE 表名 (
                欄位名1  數據類型 [完整性約束條件…],
                欄位名2  數據類型 [完整性約束條件…],
                [UNIQUE | FULLTEXT | SPATIAL ]   INDEX | KEY
                [索引名]  (欄位名[(長度)]  [ASC |DESC]) 
                );


#方法二:CREATE在已存在的表上創建索引
        CREATE  [UNIQUE | FULLTEXT | SPATIAL ]  INDEX  索引名 
                     ON 表名 (欄位名[(長度)]  [ASC |DESC]) ;


#方法三:ALTER TABLE在已存在的表上創建索引
        ALTER TABLE 表名 ADD  [UNIQUE | FULLTEXT | SPATIAL ] INDEX
                             索引名 (欄位名[(長度)]  [ASC |DESC]) ;
                             
#刪除索引:DROP INDEX 索引名 ON 表名字;
#方式一
create table t1(
    id int,
    name char,
    age int,
    sex enum('male','female'),
    unique key uni_id(id),
    index ix_name(name) #index沒有key
);
create table t1(
    id int,
    name char,
    age int,
    sex enum('male','female'),
    unique key uni_id(id),
    index(name) #index沒有key
);


#方式二
create index ix_age on t1(age);


#方式三
alter table t1 add index ix_sex(sex);
alter table t1 add index(sex);

#查看
mysql> show create table t1;
| t1    | CREATE TABLE `t1` (
  `id` int(11) DEFAULT NULL,
  `name` char(1) DEFAULT NULL,
  `age` int(11) DEFAULT NULL,
  `sex` enum('male','female') DEFAULT NULL,
  UNIQUE KEY `uni_id` (`id`),
  KEY `ix_name` (`name`),
  KEY `ix_age` (`age`),
  KEY `ix_sex` (`sex`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1

測試索引

  • 準備

#1. 準備表
create table s1(
id int,
name varchar(20),
gender char(6),
email varchar(50)
);

#2. 創建存儲過程,實現批量插入記錄
delimiter $$ #聲明存儲過程的結束符號為$$
create procedure auto_insert1()
BEGIN
    declare i int default 1;
    while(i<3000000)do
        insert into s1 values(i,'eva','female',concat('eva',i,'@oldboy'));
        set i=i+1;
    end while;
END$$ #$$結束
delimiter ; #重新聲明分號為結束符號

#3. 查看存儲過程
show create procedure auto_insert1\G 

#4. 調用存儲過程
call auto_insert1();
  • 在沒有索引的前提下測試查詢速度

#無索引:mysql根本就不知道到底是否存在id等於333333333的記錄,只能把數據表從頭到尾掃描一遍,
此時有多少個磁碟塊就需要進行多少IO操作,所以查詢速度很慢
mysql> select * from s1 where id=333333333;
Empty set (0.33 sec)

  • 總結

#1. 一定是為搜索條件的欄位創建索引,比如select * from s1 where id = 333;就需要為id加上索引

#2. 在表中已經有大量數據的情況下,建索引會很慢,且占用硬碟空間,建完後查詢速度加快
比如create index idx on s1(id);會掃描表中所有的數據,然後以id為數據項,創建索引結構,存放於硬碟的表中。
建完以後,再查詢就會很快了。

#3. 需要註意的是:innodb表的索引會存放於s1.ibd文件中,而myisam表的索引則會有單獨的索引文件table1.MYI

MySAM索引文件和數據文件是分離的,索引文件僅保存數據記錄的地址。而在innodb中,表數據文件本身就是按照
B+Tree(BTree即Balance True)組織的一個索引結構,這棵樹的葉節點data域保存了完整的數據記錄。這個索引的key是數據表的主鍵,
因此innodb表數據文件本身就是主索引。
因為inndob的數據文件要按照主鍵聚集,所以innodb要求表必須要有主鍵(Myisam可以沒有),如果沒有顯式定義,
則mysql系統會自動選擇一個可以唯一標識數據記錄的列作為主鍵,如果不存在這種列,則mysql會自動為innodb表生成一個隱含欄位作為主鍵,
這欄位的長度為6個位元組,類型為長整型.

正確的使用索引

  • 索引未命中

"""
並不是說我們創建了索引就一定會加快查詢速度,若想利用索引達到預想的提高查詢速度的效果,我們在添加索引時,必須遵循以下問題

1 範圍問題,或者說條件不明確,條件中出現這些符號或關鍵字:>、>=、<、<=、!= 、between...and...、like、大於號、小於號
"""

  • 不等於!=

  • between ...and...

  • like

"""
儘量選擇區分度高的列作為索引,區分度的公式是count(distinct col)/count(*),表示欄位不重覆的比例,比例越大我們掃描的記錄數越少,
唯一鍵的區分度是1,而一些狀態、性別欄位可能在大數據面前區分度就是0,那可能有人會問,這個比例有什麼經驗值嗎?使用場景不同,
這個值也很難確定,一般需要join的欄位我們都要求是0.1以上,即平均1條掃描10條記錄
"""
#先把表中的索引都刪除,讓我們專心研究區分度的問題
mysql> desc s1;
+--------+-------------+------+-----+---------+-------+
| Field  | Type        | Null | Key | Default | Extra |
+--------+-------------+------+-----+---------+-------+
| id     | int(11)     | YES  | MUL | NULL    |       |
| name   | varchar(20) | YES  |     | NULL    |       |
| gender | char(5)     | YES  |     | NULL    |       |
| email  | varchar(50) | YES  | MUL | NULL    |       |
+--------+-------------+------+-----+---------+-------+
rows in set (0.00 sec)

mysql> drop index a on s1;
Query OK, 0 rows affected (0.20 sec)
Records: 0  Duplicates: 0  Warnings: 0

mysql> drop index d on s1;
Query OK, 0 rows affected (0.18 sec)
Records: 0  Duplicates: 0  Warnings: 0

mysql> desc s1;
+--------+-------------+------+-----+---------+-------+
| Field  | Type        | Null | Key | Default | Extra |
+--------+-------------+------+-----+---------+-------+
| id     | int(11)     | YES  |     | NULL    |       |
| name   | varchar(20) | YES  |     | NULL    |       |
| gender | char(5)     | YES  |     | NULL    |       |
| email  | varchar(50) | YES  |     | NULL    |       |
+--------+-------------+------+-----+---------+-------+
rows in set (0.00 sec)

先把表中的索引都刪除,讓我們專心研究區分度的問題

我們編寫存儲過程為表s1批量添加記錄,name欄位的值均為egon,也就是說name這個欄位的區分度很低(gender欄位也是一樣的,我們稍後再搭理它)

回憶b+樹的結構,查詢的速度與樹的高度成反比,要想將樹的高低控制的很低,需要保證:在某一層內數據項均是按照從左到右,
從小到大的順序依次排開,即左1<左2<左3<...

而對於區分度低的欄位,無法找到大小關係,因為值都是相等的,毫無疑問,還想要用b+樹存放這些等值的數據,只能增加樹的高度,
欄位的區分度越低,則樹的高度越高。極端的情況,索引欄位的值都一樣,那麼b+樹幾乎成了一根棍。本例中就是這種極端的情況,
name欄位所有的值均為'egon'

#現在我們得出一個結論:為區分度低的欄位建立索引,索引樹的高度會很高,然而這具體會帶來什麼影響呢???

#1:如果條件是name='xxxx',那麼肯定是可以第一時間判斷出'xxxx'是不在索引樹中的(因為樹中所有的值均為'egon’),
所以查詢速度很快

#2:如果條件正好是name='egon',查詢時,我們永遠無法從樹的某個位置得到一個明確的範圍,只能往下找,往下找,往下找。。。
這與全表掃描的IO次數沒有多大區別,所以速度很慢
索引列不能在條件中參與計算,保持列“乾凈”,比如from_unixtime(create_time) = ’2014-05-29’就不能使用到索引,原因很簡單,
b+樹中存的都是數據表中的欄位值,但進行檢索時,需要把所有元素都應用函數才能比較,顯然成本太大。所以語句應該寫成create_time = unix_timestamp(’2014-05-29’)

  • and/or

#1、and與or的邏輯
    條件1 and 條件2:所有條件都成立才算成立,但凡要有一個條件不成立則最終結果不成立
    條件1 or 條件2:只要有一個條件成立則最終結果就成立

#2、and的工作原理
    條件:
        a = 10 and b = 'xxx' and c > 3 and d =4
    索引:
        製作聯合索引(d,a,b,c)
    工作原理:
        對於連續多個and:mysql會按照聯合索引,從左到右的順序找一個區分度高的索引欄位(這樣便可以快速鎖定很小的範圍),
加速查詢,即按照d—>a->b->c的順序

#3、or的工作原理
    條件:
        a = 10 or b = 'xxx' or c > 3 or d =4
    索引:
        製作聯合索引(d,a,b,c)
        
    工作原理:
        對於連續多個or:mysql會按照條件的順序,從左到右依次判斷,即a->b->c->d

  • 在左邊條件成立但是索引欄位的區分度低的情況下(name與gender均屬於這種情況),會依次往右找到一個區分度高的索引欄位,加速查詢

經過分析,在條件為name='egon' and gender='male' and id>333 and email='xxx'的情況下,我們完全沒必要為前三個條件的欄位加索引,
因為只能用上email欄位的索引,前三個欄位的索引反而會降低我們的查詢效率

最左首碼匹配原則(詳見第八小節),非常重要的原則,對於組合索引mysql會一直向右匹配直到遇到範圍查詢(>、<、between、like)就停止匹配(指的是範圍大了,
有索引速度也慢),比如a = 1 and b = 2 and c > 3 and d = 4 如果建立(a,b,c,d)順序的索引,d是用不到索引的,如果建立(a,b,d,c)的索引則都可以用到,a,b,d的順序可以任意調整。

- 使用函數
    select * from tb1 where reverse(email) = 'egon';
            
- 類型不一致
    如果列是字元串類型,傳入條件是必須用引號引起來,不然...
    select * from tb1 where email = 999;
    
#排序條件為索引,則select欄位必須也是索引欄位,否則無法命中
- order by
    select name from s1 order by email desc;
    當根據索引排序時候,select查詢的欄位如果不是索引,則速度仍然很慢
    select email from s1 order by email desc;
    特別的:如果對主鍵排序,則還是速度很快:
        select * from tb1 order by nid desc;
 
- 組合索引最左首碼
    如果組合索引為:(name,email)
    name and email       -- 命中索引
    name                 -- 命中索引
    email                -- 未命中索引


- count(1)或count(列)代替count(*)在mysql中沒有差別了

- create index xxxx  on tb(title(19)) #text類型,必須制定長度
- 避免使用select *
- 使用count(*)
- 創建表時儘量使用 char 代替 varchar
- 表的欄位順序固定長度的欄位優先
- 組合索引代替多個單列索引(由於mysql中每次只能使用一個索引,所以經常使用多個條件查詢時更適合使用組合索引)
- 儘量使用短索引
- 使用連接(JOIN)來代替子查詢(Sub-Queries)
- 連表時註意條件類型需一致
- 索引散列值(重覆少)不適合建索引,例:性別不適合

滿查詢優化的基本步驟

0.先運行看看是否真的很慢,註意設置SQL_NO_CACHE
1.where條件單表查,鎖定最小返回記錄表。這句話的意思是把查詢語句的where都應用到表中返回的記錄數最小的表開始查起,
單表每個欄位分別查詢,看哪個欄位的區分度最高
2.explain查看執行計劃,是否與1預期一致(從鎖定記錄較少的表開始查詢)
3.order by limit 形式的sql語句讓排序的表優先查
4.瞭解業務方使用場景
5.加索引時參照建索引的幾大原則
6.觀察結果,不符合預期繼續從0分析

參考文章(B樹,B+樹)

索引原理參考博客

作 者:郭楷豐 出 處:https://www.cnblogs.com/guokaifeng/ 聲援博主:如果您覺得文章對您有幫助,可以點擊文章右下角 推薦一下。您的鼓勵是博主的最大動力! 自 勉:生活,需要追求;夢想,需要堅持;生命,需要珍惜;但人生的路上,更需要堅強。帶著感恩的心啟程,學會愛,愛父母,愛自己,愛朋友,愛他人。
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • linux是一個多用戶操作系統,用戶可以在不同的地方鏈接上LINUX伺服器。 在系統中我們可以用w或者who來查看用戶: [root@7273 ~]# who root pts/0 2019-04-17 20:45 (58.63.138.162) root pts/1 2019-05-5 22:2... ...
  • 1、查看本地分支:git branch 2、查看遠程分支:git branch -r 或 git branch --remote 3、查看本地和遠程的所有分支:git branch -a ...
  • Linux軟體安裝——服務管理的命令 摘要:本文主要學習了Linux系統中服務管理的命令。 service命令 service命令用於對系統服務進行管理,比如啟動(start)、停止(stop)、重啟(restart)、查看狀態(status)等。 service命令本身是一個shell腳本,它在/ ...
  • 系統控制根據 Hi35xx 晶元特性,完成硬體各個部件的複位、基本初始化工作,同時負責完成 MPP(Media Process Platform 媒體處理平臺)系統各個業務模塊的初始化、去初始化以及管理 MPP 系統各個業務模塊的工作狀態、提供當前 MPP 系統的版本信息、提供大塊物理記憶體管理等功能 ...
  • 0x00 大落 一件蠻坑爹的事情,複製了找了好久的內容合集,在回別人的信息的時候又進行了複製其他內容的操作,結果吾覆蓋了的上一次複製的內容…… 於是開始找找 macOS 有沒有粘貼板記錄的東西,然後在 訪達 中找到了 剪貼板 : 但是這個剪貼板只有當前複製/剪切的內容……再次淚奔 果然已經沒辦法找到 ...
  • 1. 概述 海思提供的媒體處理軟體平臺(Media Process Platform,簡稱 MPP),可支持應用軟體快速 開發。該平臺對應用軟體屏蔽了晶元相關的複雜的底層處理,並對應用軟體直接提供 MPI(MPP Program Interface)介面完成相應功能。該平臺支持應用軟體快速開發以下 ...
  • 簡介: 主要原因是,我不會 vim ,在 linux 上修改 charts 的很蹩腳,所以就想著能不能再 windows 上執行 helm 命令,將 charts install linux 上搭建的 kubernetes 集群上,答案當然是可以的。本文將告訴大家怎麼在 windows 上執行 he ...
  • 保留個原文鏈接,避免被爬蟲爬了過去,以便後續更正補充:https://www.cnblogs.com/wy123/p/11273023.html MySQL參數繁多,是一個需要根據具體業務、軟硬體環境、負載壓力、性能需求、數據異常的容忍程度等等信息綜合考量的結果,不是一成不變的(當然,某些參數保持默 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...