源碼淺析：MySQL一條insert操作，會寫哪些文件？包括UNDO相關的文件嗎？

DML操作的大致流程在解答上述疑惑之前，我們來梳理一下DML操作的大致流程： 1、語法解析、語義解析 2、生成執行計劃 3、事務修改階段 1) 激活事務，事務狀態由not_active變為active 2) 查找定位數據 3) 樂觀插入 4) 記錄insert相關的undo記錄，並將undo記錄的 ...

DML操作的大致流程

在解答上述疑惑之前，我們來梳理一下DML操作的大致流程：

1、語法解析、語義解析

2、生成執行計劃

3、事務修改階段

　　1) 激活事務，事務狀態由not_active變為active

　　2) 查找定位數據

　　3) 樂觀插入

　　4) 記錄insert相關的undo記錄，並將undo記錄的變化寫入redo log buffer

　　5) 進行insert 元組插入，及實際的插入操作，並寫入到redo log buffer

　　6) binlog event 寫入到 binlog cache

4、事務提交階段

　　1) 事務prepare

　　2) redo組提交，redo落盤

　　3) flush binlog cache到binlog文件，然後fsync binlog文件將它落盤

　　4) innodb進行提交，事務狀態由prepare變為not_active

寫了哪些文件？會寫UNDO相關的文件嗎？

從上述流程中可以看到，主要對redo log file和binlog進行了寫入。

那麼是否會實時地寫入Undo tablespace呢？

我們先來簡單地分析一下：

1.磁碟中的undo segment，不論它是保存在system tablespace中，還是保存在獨立的undo tablespace中，根據頁的物理結構（參考阿裡內核月報）來看，它們是離散地分佈在表空間文件中的。因此需要讀/寫的時候，會產生很多的隨機讀寫io操作，而隨機讀寫的效率是非常低的；

2.Innodb使用了很多種方法來將磁碟隨機讀寫儘可能地轉換成順序讀寫，比如change buffer特性、WAL特性、MRR、extent塊管理，等等。上述這些都是在儘可能地減少磁碟隨機讀寫。所以Innodb應該不會將undo日誌實時地落盤；

3.在上述流程中的3.4部分，已經將Undo的變化寫入到redo log buffer了，redo會在事務提交時落盤，所以即使在事務失敗、Undo沒有落盤的情況下實例宕機，重新啟動實例的時候，也會從redo中找到Undo來回滾，從而保證事務的原子性。

綜上，可以初步判斷Undo不會實時地落盤。但是這隻是根據原理來進行分析的，為了確定我的分析是否正確，可以打開源碼進行分析驗證，或使用strace等工具來驗證。

以下是源碼淺析：

插入的流程：

 1     //trx_undof_page_add_undo_rec_log--記錄undo的redo log 入redo buffer
 2 >    mysqld.exe!trx_undof_page_add_undo_rec_log(unsigned char * undo_page, unsigned __int64 old_free, unsigned __int64 new_free, mtr_t * mtr) 行 74
 3      mysqld.exe!trx_undo_page_set_next_prev_and_add(unsigned char * undo_page, unsigned char * ptr, mtr_t * mtr) 行 204
 4      //trx_undo_page_report_insert--記錄insert的undo記錄
 5     mysqld.exe!trx_undo_page_report_insert(unsigned char * undo_page, trx_t * trx, dict_index_t * index, const dtuple_t * clust_entry, mtr_t * mtr) 行 537
 6      mysqld.exe!trx_undo_report_row_operation(unsigned __int64 flags, unsigned __int64 op_type, que_thr_t * thr, dict_index_t * index, const dtuple_t * clust_entry, const upd_t * update, unsigned __int64 cmpl_info, const unsigned char * rec, const unsigned __int64 * offsets, unsigned __int64 * roll_ptr) 行 1951
 7      mysqld.exe!btr_cur_ins_lock_and_undo(unsigned __int64 flags, btr_cur_t * cursor, dtuple_t * entry, que_thr_t * thr, mtr_t * mtr, unsigned __int64 * inherit) 行 2984
 8      //btr_cur_optimistic_insert--進行樂觀插入
 9     mysqld.exe!btr_cur_optimistic_insert(unsigned __int64 flags, btr_cur_t * cursor, unsigned __int64 * * offsets, mem_block_info_t * * heap, dtuple_t * entry, unsigned char * * rec, big_rec_t * * big_rec, unsigned __int64 n_ext, que_thr_t * thr, mtr_t * mtr) 行 3244
10      mysqld.exe!row_ins_clust_index_entry_low(unsigned __int64 flags, unsigned __int64 mode, dict_index_t * index, unsigned __int64 n_uniq, dtuple_t * entry, unsigned __int64 n_ext, que_thr_t * thr, bool dup_chk_only) 行 2447
11      mysqld.exe!row_ins_clust_index_entry(dict_index_t * index, dtuple_t * entry, que_thr_t * thr, unsigned __int64 n_ext, bool dup_chk_only) 行 3162
12      mysqld.exe!row_ins_index_entry(dict_index_t * index, dtuple_t * entry, que_thr_t * thr) 行 3292
13      mysqld.exe!row_ins_index_entry_step(ins_node_t * node, que_thr_t * thr) 行 3442
14      mysqld.exe!row_ins(ins_node_t * node, que_thr_t * thr) 行 3584
15      mysqld.exe!row_ins_step(que_thr_t * thr) 行 3769
16      mysqld.exe!row_insert_for_mysql_using_ins_graph(const unsigned char * mysql_rec, row_prebuilt_t * prebuilt) 行 1734
17      mysqld.exe!row_insert_for_mysql(const unsigned char * mysql_rec, row_prebuilt_t * prebuilt) 行 1853
18      mysqld.exe!ha_innobase::write_row(unsigned char * record) 行 7484
19      mysqld.exe!handler::ha_write_row(unsigned char * buf) 行 7845
20      mysqld.exe!write_record(THD * thd, TABLE * table, COPY_INFO * info, COPY_INFO * update) 行 1860
21      mysqld.exe!Sql_cmd_insert::mysql_insert(THD * thd, TABLE_LIST * table_list) 行 780
22      mysqld.exe!Sql_cmd_insert::execute(THD * thd) 行 3092
23      mysqld.exe!mysql_execute_command(THD * thd, bool first_level) 行 3520
24      mysqld.exe!mysql_parse(THD * thd, Parser_state * parser_state) 行 5519
25      mysqld.exe!dispatch_command(THD * thd, const COM_DATA * com_data, enum_server_command command) 行 1432
26      mysqld.exe!do_command(THD * thd) 行 997
27      mysqld.exe!handle_connection(void * arg) 行 301
28      mysqld.exe!pfs_spawn_thread(void * arg) 行 2190
29      mysqld.exe!win_thread_start(void * p) 行 37

其中，trx_undo_page_report_insert函數的代碼如下：

 1 /**********************************************************************//**
 2 在UNDO日誌中報告聚集索引記錄的插入。註意：這裡的UNDO日誌，指的是記憶體中的數據結構
 3 @return在頁面上插入的條目的偏移量（如果成功），如果失敗則為0 */
 4 static
 5 ulint
 6 trx_undo_page_report_insert(
 7 /*========================*/
 8     page_t*        undo_page,    /*!< in: undo log page */
 9     trx_t*        trx,        /*!< in: transaction */
10     dict_index_t*    index,        /*!< in: clustered index */
11     const dtuple_t*    clust_entry,    /*!< in: index entry which will be
12                     inserted to the clustered index */
13     mtr_t*        mtr)        /*!< in: mtr */
14 {
15     ulint        first_free;
16     byte*        ptr;
17     ulint        i;
18 
19     //...省略若幹內容
20 
21 
22     /* 預留2位元組給指向下一條UNDO日誌的指針 */
23     ptr += 2;
24 
25     /* Store first some general parameters to the undo log */
26     *ptr++ = TRX_UNDO_INSERT_REC;
27     ptr += mach_u64_write_much_compressed(ptr, trx->undo_no);
28     ptr += mach_u64_write_much_compressed(ptr, index->table->id);
29     /*----------------------------------------*/
30     /* 然後存儲唯一確定要在聚簇索引中插入的記錄所需的欄位 */
31 
32     for (i = 0; i < dict_index_get_n_unique(index); i++) {
33 
34         const dfield_t*    field    = dtuple_get_nth_field(clust_entry, i);
35         ulint        flen    = dfield_get_len(field);
36 
37         if (trx_undo_left(undo_page, ptr) < 5) {
38 
39             return(0);
40         }
41 
42         ptr += mach_write_compressed(ptr, flen);
43 
44         if (flen != UNIV_SQL_NULL) {
45             if (trx_undo_left(undo_page, ptr) < flen) {
46 
47                 return(0);
48             }
49 
50             ut_memcpy(ptr, dfield_get_data(field), flen);
51             ptr += flen;
52         }
53     }
54 
55     if (index->table->n_v_cols) {
56         if (!trx_undo_report_insert_virtual(
57             undo_page, index->table, clust_entry, &ptr)) {
58             return(0);
59         }
60     }
61     /* 調用trx_undo_page_set_next_prev_and_add函數 */
62     return(trx_undo_page_set_next_prev_and_add(undo_page, ptr, mtr));
63 }

trx_undo_page_set_next_prev_and_add函數的代碼如下：

 1 /**********************************************************************//**
 2 在UNDO page中為寫入到ptr的撤消記錄設置下一個和上一個指針。 通過為此UNDO日誌寫入的位元組數更新第一個空閑值。
 3 @return在頁面上插入的條目的偏移量（如果成功），如果失敗則為0 */
 4 static
 5 ulint
 6 trx_undo_page_set_next_prev_and_add(
 7 /*================================*/
 8     page_t*        undo_page,    /*!< in/out: undo log page */
 9     byte*        ptr,        /*!< in: ptr up to where data has been
10                     written on this undo page. */
11     mtr_t*        mtr)        /*!< in: mtr */
12 {
13     ulint        first_free;    /*!< offset within undo_page */
14     ulint        end_of_rec;    /*!< offset within undo_page */
15     byte*        ptr_to_first_free;
16                     /* pointer within undo_page
17                     that points to the next free
18                     offset value within undo_page.*/
19 
20     //...省略若幹代碼
21 
22     ptr_to_first_free = undo_page + TRX_UNDO_PAGE_HDR + TRX_UNDO_PAGE_FREE;
23 
24     first_free = mach_read_from_2(ptr_to_first_free);
25 
26     /* 寫入上一個UNDO日誌記錄的偏移量 */
27     mach_write_to_2(ptr, first_free);
28     ptr += 2;
29 
30     end_of_rec = ptr - undo_page;
31 
32     /* 寫入下一個UNDO日誌記錄的偏移量 */
33     mach_write_to_2(undo_page + first_free, end_of_rec);
34 
35     /* 將偏移量更新為第一個空閑的UNDO記錄 */
36     mach_write_to_2(ptr_to_first_free, end_of_rec);
37 
38     /* 將此日誌條目寫入UNDO日誌,註釋原文是Write this log entry to the UNDO log，
39     但是你不要被此處的UNDO log迷惑了誤以為是磁碟中的文件，其實Innodb代碼中的UNDO log，
40     我覺得應該理解為UNDO entry,指的是記憶體中的內容 */
41     trx_undof_page_add_undo_rec_log(undo_page, first_free,
42                     end_of_rec, mtr);
43 
44     return(first_free);
45 }

trx_undof_page_add_undo_rec_log函數的代碼如下：

 1 /************************************************************************
 2 將插入的UNDO條目的mtr日誌條目寫入到redo log buffer。註釋原文是：
 3 Writes the mtr log entry of the inserted undo log record on the undo log page.
 4 但是請註意，這裡並不是將undo落盤 */
 5 UNIV_INLINE
 6 void
 7 trx_undof_page_add_undo_rec_log(
 8 /*============================*/
 9     page_t* undo_page,    /*!< in: undo log page */
10     ulint    old_free,    /*!< in: start offset of the inserted entry */
11     ulint    new_free,    /*!< in: end offset of the entry */
12     mtr_t*    mtr)        /*!< in: mtr */
13 {
14     byte*        log_ptr;
15     const byte*    log_end;
16     ulint        len;
17 
18     log_ptr = mlog_open(mtr, 11 + 13 + MLOG_BUF_MARGIN);
19 
20     if (log_ptr == NULL) {
21 
22         return;
23     }
24 
25     log_end = &log_ptr[11 + 13 + MLOG_BUF_MARGIN];
26     /*mlog_write_initial_log_record_fast,是mini-transaction相關的函數，用來將redo條目寫入到redo log buffer
27     MLOG_UNDO_INSERT,是redo日誌類型的一種，是在將一條記錄設置為頁面中的最小記錄時產生的，因為只是打個標記，存儲的內容比較簡單*/
28     log_ptr = mlog_write_initial_log_record_fast(
29         undo_page, MLOG_UNDO_INSERT, log_ptr, mtr);
30     len = new_free - old_free - 4;
31 
32     mach_write_to_2(log_ptr, len);
33     log_ptr += 2;
34 
35     if (log_ptr + len <= log_end) {
36         memcpy(log_ptr, undo_page + old_free + 2, len);
37         mlog_close(mtr, log_ptr + len);
38     } else {
39         mlog_close(mtr, log_ptr);
40         mlog_catenate_string(mtr, undo_page + old_free + 2, len);
41     }
42 }

總結

MySQL一條insert操作，會寫redo log file和binlog文件，但是不會將UNDO落盤。

UNDO包含在Innodb Buffer Pool中，由Page Cleaner Thread定時刷到磁碟，由Purge Thread定時回收。