這篇博客是在學習MySQL Server 5.7版的源代碼過程中編寫的第一個學習筆記,主要內容包括: 連接處理總體過程 連接監聽總體過程 登錄驗證 命令交互總體過程 命令的種類 命令的執行結果 支持的協議以及相關的類 連接處理總體過程 在一個線程中來處理與一個mysql客戶端程式的整個會話過程中的全 ...
這篇博客是在學習MySQL Server 5.7版的源代碼過程中編寫的第一個學習筆記,主要內容包括: 連接處理總體過程 連接監聽總體過程 登錄驗證 命令交互總體過程 命令的種類 命令的執行結果 支持的協議以及相關的類 連接處理總體過程 在一個線程中來處理與一個mysql客戶端程式的整個會話過程中的全部網路數據的讀寫操作。這個會話結束後不會關閉這個線程,而是等待下一個mysql客戶端程式的連接,整個過程反覆迴圈,直到mysql伺服器退出。 圖01-01 源代碼中的這個函數還有一些其它的代碼,分析之後認為要麼與這裡的主題關係不大,要麼是一些調試用途的代碼,為了更加清晰的展示這裡要描述的主題內容,做了一些刪減。為了節省篇幅,對代碼格式也做了一些調整。 當對一個mysql客戶端連接的處理到達這個函數中的時候,TCP連接已經建立完畢,因此,這個函數中都是mysql命令交互處理的實質內容。 (1)連接的具體信息包含在channel_info中。 Channel_info類是一個抽象類,具體的類中包含了通道信息,主要包括以下幾個: Channel_info_local_socket:本地套接字通道信息。 Channel_info_tcpip_socket:tcp套接字通道信息。 Channel_info_named_pipe:命名管道通道信息。 Channel_info_shared_mem:共用記憶體通道信息。 (2)init_new_thd()函數主要做以下的工作: 創建一個THD對象,後續這個連接上的資料庫處理都使用這個對象。 創建連接對應的VIO對象,後續這個連接上的數據收發都通過這個VIO對象。 (iii)銷毀channel_info對應的對象,後續不需要了。 THD這個類並不是一個OS線程相關的類,而是一個專註於mysql查詢密切相關處理的類。 圖01-02 thd_prepare_connection()。 主要工作是做用戶登錄驗證。具體內容在稍後詳細分析。 while迴圈。 在while()迴圈中使用do_command()每次接收一個命令然後執行再返回執行結果給mysql客戶端程式。 end_connection()。 將線程與連接脫鉤。 (6)close_connection()。 斷開連接。 (7)release_resource()。 釋放THD中的相關資源。 Per_thread_connection_handler::block_until_new_connection()。 阻塞當前線程,直到新的連接分配到這個線程。核心就是使用了一個條件變數,然後迴圈直到條件滿足。條件滿足後從一個list中取得一個Channel_info對象,然後繼續執行handle_connection()中的for(;;)迴圈。 圖01-03 這個list中的數據從哪裡來呢?稍後具體介紹這個問題。 連接監聽總體過程 可以看到這個Per_thread_connection_handler類還有一個方法: Per_thread_connection_handler::add_connection()。 這個方法首先檢查是否有空閑的線程可以使用,如果有則將新的Channel_info存入到這個list中,然後發送信號,這樣block_until_new_connection()中可以檢測到條件變數的信號。 如果沒有則創建一個新的線程,將新的Channel_info作為新線程的函數的參數。 通過這兩種方式,可以保證新的連接得到及時的處理。 connection_event_loop()函數直接在mysqld_main()函數中調用,即這個事件迴圈函數直接在主線程中執行。最終每次取得一個新連接的Channel_info對象,都會調用add_connection()方法。 圖01-04 現在來看一下對於tcp通道的listener, 具體處理監聽事件的函數如下: Channel_info* Mysqld_socket_listener::listen_for_connection_event()。 這個函數僅僅通過poll()系統調用處理tcp監聽套接字的accept事件,然後調用accept()系統調用實際得到一個收發數據用途的套接字,最後創建一個Channel_info對象。 圖01-05 至此,mysql伺服器處理一個新的mysql客戶端程式的tcp連接的總體過程基本清楚了。 登錄驗證 前面已經知道了在MySQL Server與mysql客戶端程式建立了連接通道後,會先進行一個登錄驗證的過程。這一部分開始瞭解MySQL Server的登錄驗證過程。這一過程主要是通過acl_authenticate()函數進行的。 這個函數實際上調用登錄驗證插件來完成相應的功能。以下語句可以查看當前使用的預設登錄驗證插件。 mysql> show variables like '%authen%'; +-------------------------------+-----------------------+ | Variable_name | Value | +-------------------------------+-----------------------+ | default_authentication_plugin | mysql_native_password | +-------------------------------+-----------------------+ 1 row in set (0.01 sec) 登錄驗證的插件有以下幾種,預設是mysql_native_password。 圖02-01 MySQL Server向mysql客戶端程式發送一個隨機的scrambe數據。這個數據是20個位元組長度。這個值用於伺服器校驗客戶端程式的登錄驗證插件的版本是否相容。 每當一個客戶端連接上來後,伺服器發送一個隨機數據給客戶端,客戶端使用一定的演算法處理後將結果返回給伺服器,伺服器校驗這個返回值,如果和伺服器自己計算處理的結果相匹配,則認為客戶端登錄驗證插件的版本是相容的,否則認為不相容。這種處理方式也是網路應用開發中的一種常見的“套路”,主要用來識別客戶端版本的相容性,同時具備一定的防範假冒客戶端程式的非法攻擊的作用。 mysql程式收到後按照一定的演算法進行處理,將處理後的數據以及用戶名、加密後的密碼,以及主機名或IP地址發送給伺服器。 以下是這個數據的內容的一個例子,其中user_name和auth_string是用戶名和密碼,host_or_ip是主機名。authenticated_as是伺服器匹配到的用戶名。 圖02-02 伺服器判斷數據的有效性之後,進行必要的檢查。 檢查用戶是否需要SSL模式。 是否處於skip-grant模式,即忽略授權檢查。 用戶賬戶是否已經處於鎖定狀態。 用戶密碼是否已經過期。 全局:同一個用戶登錄的連接是否已經太多了。 全局:是否達到每小時連接數的限制。 全局:是否達到最大連接數的限制。 用戶級別:同一個用戶登錄的連接是否已經太多了。 用戶級別:是否達到每小時連接數的限制。 用戶級別:是否達到最大連接數的限制。 伺服器將檢查的結果發送給客戶端程式。 通過以下函數發送檢查結果。 void THD::send_statement_status() 登錄成功發送DA::OK,失敗則發送其它值。 命令交互總體過程 前面已經瞭解了MySQL伺服器連接處理的總體過程,其中跟命令處理有關的是do_command()這個函數。這個函數每次執行都處理一個SQL命令。 圖03-01 get_command()的工作是通過網路讀取一個命令到com_data中,dispatch_command()的工作是負責執行一個命令,並將執行結果反饋給客戶端程式。 COM_DATA相關的具體結構暫時不關註。 dispatch_command()函數的主體結構如下所示: 圖03-02 命令的種類 總共有以下的各種命令,最常用的SQL中的增刪改查操作對應於COM_QUERY命令,而COM_CONNECT命令只有在登錄驗證時有用到。這些命令基本上都是名稱就已經充分的說明瞭它的功能,所以就不再贅述了。 圖03-03 命令的執行結果 總共有5種可能的執行結果:執行成功就是DA_OK,其它都是出錯的狀態。 圖03-04 支持的協議以及相關的類 MySQL中定義了以下幾種協議類型: PROTOCOL_TEXT:文本協議,用於MySQL Server V4.0或更早的版本。 PROTOCOL_BINARY:二進位協議。 PROTOCOL_LOCAL:本地協議。 MySQL中有提到所謂的經典的協議(classic),指的是文本協議或者二進位協議。 MySQL中處理這些協議相關問題的類的基類是Protocol這個類,定義了收發各種數據的介面函數。粒度比較大的函數有get_command()函數,粒度比較細的有發送一個整數這樣的函數,比如store_long()等。 Protocol_classic這個類派生於Protocol類,處理經典的協議類型。Protocol_text派生於Protocol_classic,而Protocol_binary又派生於Protocol_text類。 This is more complex than it looks. 這句話出現在MySQL Server的源代碼的native_password_authenticate()這個函數中,正好作為這篇博客的一個結束語。