InnoDB源碼分析--緩衝池(三)

来源:http://www.cnblogs.com/wingsless/archive/2016/06/13/5582063.html
-Advertisement-
Play Games

轉載請附原文鏈接:http://www.cnblogs.com/wingsless/p/5582063.html 昨天寫到了InnoDB緩衝池的預讀:《InnoDB源碼分析--緩衝池(二)》,最後因為著急看歐洲杯,沒有把線性預讀寫完,今天接著寫。 線性預讀是由這個函數實現的:buf_read_ahe ...


     轉載請附原文鏈接:http://www.cnblogs.com/wingsless/p/5582063.html

     昨天寫到了InnoDB緩衝池的預讀:《InnoDB源碼分析--緩衝池(二)》,最後因為著急看歐洲杯,沒有把線性預讀寫完,今天接著寫。

     線性預讀是由這個函數實現的:buf_read_ahead_linear,和隨機預讀一樣,首先是要確定區域邊界,這個邊界內被訪問過的page如果達到一個閾值(BUF_READ_AHEAD_LINEAR_THRESHOLD),就會觸發預讀操作。邊界的演算法由BUF_READ_AHEAD_LINEAR_AREA決定:

    low  = (offset / BUF_READ_AHEAD_LINEAR_AREA)
        * BUF_READ_AHEAD_LINEAR_AREA;
    high = (offset / BUF_READ_AHEAD_LINEAR_AREA + 1)
        * BUF_READ_AHEAD_LINEAR_AREA;

    if ((offset != low) && (offset != high - 1)) {
        /* This is not a border page of the area: return */

        return(0);
    }

    註意,如果offset不在邊界上,就不會進行預讀了,這一點和隨機預讀是不一樣的。線性預讀其實是順序性讀取的,如果offset在low位置,逆序讀取page,如果offset在high位置,正序讀取page。讀取的每個頁,都要進行判斷,如果被訪問過的頁的數量到達上面提到的閾值,就滿足了線性預讀的條件,達不到閾值,就不進行預讀,代碼如下:

    asc_or_desc = 1; //預設正序

    if (offset == low) {
        asc_or_desc = -1; //如果offset在low位置,變成逆序
    }

    fail_count = 0;

    for (i = low; i < high; i++) {
        block = buf_page_hash_get(space, i); //遍歷邊界範圍內的頁

        if ((block == NULL) || !block->accessed) {
            /* Not accessed */
            fail_count++; //未讀取的頁計數

        } else if (pred_block
               && (ut_ulint_cmp(block->LRU_position,
                        pred_block->LRU_position)
                   != asc_or_desc)) {
            /* Accesses not in the right order */

            fail_count++;
            pred_block = block;
        }
    }

    if (fail_count > BUF_READ_AHEAD_LINEAR_AREA
        - BUF_READ_AHEAD_LINEAR_THRESHOLD) { //不滿足預讀條件,退出
        /* Too many failures: return */

        mutex_exit(&(buf_pool->mutex));

        return(0);
    }

     我之前在一本書上看到過一句話,大概意思是記憶體里的頁可以不是物理上連續的,邏輯上卻是連續的。這裡的線性預讀要求這些頁在物理上也是必須連續的:

    pred_offset = fil_page_get_prev(frame);
    succ_offset = fil_page_get_next(frame);

    mutex_exit(&(buf_pool->mutex));

    if ((offset == low) && (succ_offset == offset + 1)) {

        /* This is ok, we can continue */
new_offset = pred_offset; //滿足了條件,繼續 } else if ((offset == high - 1) && (pred_offset == offset - 1)) { /* This is ok, we can continue */ new_offset = succ_offset; //這是正序情況下,滿足條件 } else { /* Successor or predecessor not in the right order */ return(0); }

     這個地方是這樣的,首先利用fil_page_get_prev和fil_page_get_next函數讀取offset->frame之後或者之前的4個bytes,如果結果滿足順序條件,可以繼續進行線性預讀。

    for (i = low; i < high; i++) {
        /* It is only sensible to do read-ahead in the non-sync
        aio mode: hence FALSE as the first parameter */

        if (!ibuf_bitmap_page(i)) {
            count += buf_read_page_low(
                &err, FALSE,
                ibuf_mode | OS_AIO_SIMULATED_WAKE_LATER,
                space, tablespace_version, i);
            if (err == DB_TABLESPACE_DELETED) {
                ut_print_timestamp(stderr);
                fprintf(stderr,
                    "  InnoDB: Warning: in"
                    " linear readahead trying to access\n"
                    "InnoDB: tablespace %lu page %lu,\n"
                    "InnoDB: but the tablespace does not"
                    " exist or is just being dropped.\n",
                    (ulong) space, (ulong) i);
            }
        }
    }

    線性預讀還是利用了buf_read_page_low函數,這一點和隨機預讀一樣,而且是非同步方式。

    至此便完成了線性預讀。

    不管是隨機預讀還是線性預讀,都會有一些條件不進行預讀,比如系統壓力大的時候不預讀,這個的實現:

    if (buf_pool->n_pend_reads
        > buf_pool->curr_size / BUF_READ_AHEAD_PEND_LIMIT) {
        mutex_exit(&(buf_pool->mutex));

        return(0);
    }

    這裡規定了pend讀取數大於buf_pool->curr_size一半的時候,就不預讀了,相似的還有很多條件,都在代碼里,這裡就不寫了。

    


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 1.參數文件的定義、作用 oracle資料庫通過一系列參數來對資料庫進行配置。這些參數是以鍵-值對的形式來表 示的,如:MAXLOGFILES=50BACKGROUND_DUMP_DEST=C:DUMP其中,等號左邊是參數名,右邊是對應的參數的值,值的類型有多種,典型的如數字和 字元串. 參數文件就 ...
  • 傳統MySQL+ Memcached架構遇到的問題 實際MySQL是適合進行海量數據存儲的,通過Memcached將熱點數據載入到cache,加速訪問,很多公司都曾經使用過這樣的架構,但隨著業務數據量的不斷增加,和訪問量的持續增長,我們遇到了很多問題: 1.MySQL需要不斷進行拆庫拆表,Memca ...
  • 大家可能都聽說了,微軟在幾個星期前宣佈發佈可以在Linux上完整運行的SQL Server!如果你想看下在Linux上SQL Server如何運行,進行查詢是什麼樣的體驗,可以看下下麵的視頻。 ...
  • mysql cache功能分析: 1 mysql的cache功能的key的生成原理是:把select語句按照一定的hash規則生成唯一的key,select的結果生成value,即key=>value。所以對於cache而言,select語句是區分大小寫的,也區分空格的。兩個select語句必須完完 ...
  • 我們使用oracle的人都知道可以通過rownum偽列得到查詢結果序列前面的指定的行,為了下麵更好的進行說明問題,我們先來創建一個數據表table1: create table table1 (AAA integer primary key, BBB varchar(30)); 然後在table1中 ...
  • 先來看看什麼是書簽查找: 當優化器所選擇的非聚簇索引只包含查詢請求的一部分欄位時,就需要一個查找(lookup)來檢索其他欄位來滿足請求。對一個有聚簇索引的表來說是一個鍵查找(key lookup),對一個堆表來說是一個RID查找(RID lookup)。這種查找即是——書簽查找。 書簽查找根據索引 ...
  • 以Class降序查詢Student表的所有記錄。 以Cno升序、Degree降序查詢Score表的所有記錄。 查詢教師所有的單位即不重覆的Depart列。 查詢每門課的平均成績。 ...
  • 源庫:Red Hat Enterprise Linux Server release 5.5 (Tikanga) 64bit + ORACLE V11.2.0.4.0 + DG + RAC 目標庫:Red Hat Enterprise Linux Server release 5.8 (Cattha ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...