【原創】(七)Linux記憶體管理 - zoned page frame allocator - 2

来源:https://www.cnblogs.com/LoyenWang/archive/2019/10/13/11666939.html
-Advertisement-
Play Games

背景 By 魯迅 By 高爾基 說明: 1. Kernel版本:4.14 2. ARM64處理器,Contex A53,雙核 3. 使用工具:Source Insight 3.5, Visio 1. 概述 本文將分析 。 伙伴系統,是通過將物理記憶體劃分為頁面來進行管理的系統,支持連續的物理頁面分配和 ...


背景

  • Read the fucking source code! --By 魯迅
  • A picture is worth a thousand words. --By 高爾基

說明:

  1. Kernel版本:4.14
  2. ARM64處理器,Contex-A53,雙核
  3. 使用工具:Source Insight 3.5, Visio

1. 概述

本文將分析Buddy System
Buddy System伙伴系統,是通過將物理記憶體劃分為頁面來進行管理的系統,支持連續的物理頁面分配和釋放。此外,使用與碎片相關的演算法來確保最大的連續頁面。

先通過一個例子大體介紹一下原理吧:
空閑的物理頁框按大小分組成0~MAX_ORDER個鏈表,每個鏈表存放頁框的大小為2的n次冪,其中n在0 ~ MAX_ORDER-1中取值。

假設請求分配2^8 = 256個頁框塊:

  1. 檢查n = 8的鏈表,檢查是否有空閑塊,找到了則直接返回;
  2. 沒有找到滿足需求的,則查找n = 9的鏈表,找到512大小空閑塊,拆分成兩個256大小塊,將其中一個256大小塊返回,另一個256大小塊添加到n = 8的鏈表中;
  3. n = 9的鏈表中沒有找到合適的塊,則查找n = 10的鏈表,找到1024大小空閑塊,將其拆分成512 + 256 + 256大小的塊,返回需要獲取的256大小的塊,將剩下的512大小塊插入n = 9鏈表中,剩下的256大小塊插入n = 8的鏈表中;

合併過程是上述流程的逆過程,試圖將大小相等的Buddy塊進行合併成單獨的塊,並且會迭代合併下去,嘗試合併成更大的塊。合併需要滿足要求:

  1. 兩個Buddy塊大小一致;
  2. 它們的物理地址連續;
  3. 第一個Buddy塊的起始地址為 (2 x N x 4K)的整數倍,其中4K為頁面大小,NBuddy塊的大小;

struct page結構中,與Buddy System相關的欄位有:

  • _mapcount: 用於標記page是否處在Buddy System中,設置成-1PAGE_BUDDY_MAPCOUNT_VALUE(-128)
  • private: 一個2^k次冪的空閑塊的第一個頁描述符中,private欄位存放了塊的order值,也就是k值;
  • index: 存放MIGRATE類型;
  • _refcount: 用戶使用計數值,沒有用戶使用為0,有使用的話則增加;

合併時如下圖所示:

2. Buddy頁面分配

Buddy頁面分配的流程如下圖所示:

從上圖中可以看出,在頁面進行分配的時候,有以下四個步驟:

  1. 如果申請的是order = 0的頁面,直接選擇從pcp中進行分配,並直接退出;
  2. order > 0時,如果分配標誌中設置了ALLOC_HARDER,則從free_list[MIGRATE_HIGHATOMIC]的鏈表中進行頁面分配,分配成功則返回;
  3. 前兩個條件都不滿足,則在正常的free_list[MIGRATE_*]中進行分配,分配成功則直接則返回;
  4. 如果3中分配失敗了,則查找後備類型fallbacks[MIGRATE_TYPES][4],並將查找到的頁面移動到所需的MIGRATE類型中,移動成功後,重新嘗試分配;

如下圖:

上述分配的過程,前3個步驟都會調用到__rmqueue_smallest,第4步調用__rmqueue_fallback,將從這兩個函數來分析。

2.1 __rmqueue_smallest

__rmqueue_smallest的源代碼比較簡單,貼上來看看吧:

static inline
struct page *__rmqueue_smallest(struct zone *zone, unsigned int order,
                        int migratetype)
{
    unsigned int current_order;
    struct free_area *area;
    struct page *page;

    /* Find a page of the appropriate size in the preferred list */
    for (current_order = order; current_order < MAX_ORDER; ++current_order) {
        area = &(zone->free_area[current_order]);
        page = list_first_entry_or_null(&area->free_list[migratetype],
                            struct page, lru);
        if (!page)
            continue;
        list_del(&page->lru);
        rmv_page_order(page);
        area->nr_free--;
        expand(zone, page, order, current_order, area, migratetype);
        set_pcppage_migratetype(page, migratetype);
        return page;
    }

    return NULL;
}

從代碼中可以看出:

  1. 從申請的order大小開始查找目標MIGRATE類型鏈表中頁表,如果沒有找到,則從更大的order中查找,直到MAX_ORDER
  2. 查找到頁表之後,從對應的鏈表中刪除掉,並調用expand函數進行處理;

expand函數的處理邏輯就跟本文概述中講的例子一樣,當在大的order鏈表中申請到了記憶體後,剩餘部分會插入到其他的order鏈表中,來一張圖就清晰了:

2.2 __rmqueue_fallback

當上述過程沒有分配到記憶體時,便會開始從後備遷移類型中進行分配。
其中,定義了一個全局的二維fallbacks的數組,並根據該數組進行查找,代碼如下:

/*
 * This array describes the order lists are fallen back to when
 * the free lists for the desirable migrate type are depleted
 */
static int fallbacks[MIGRATE_TYPES][4] = {
    [MIGRATE_UNMOVABLE]   = { MIGRATE_RECLAIMABLE, MIGRATE_MOVABLE,   MIGRATE_TYPES },
    [MIGRATE_RECLAIMABLE] = { MIGRATE_UNMOVABLE,   MIGRATE_MOVABLE,   MIGRATE_TYPES },
    [MIGRATE_MOVABLE]     = { MIGRATE_RECLAIMABLE, MIGRATE_UNMOVABLE, MIGRATE_TYPES },
#ifdef CONFIG_CMA
    [MIGRATE_CMA]         = { MIGRATE_TYPES }, /* Never used */
#endif
#ifdef CONFIG_MEMORY_ISOLATION
    [MIGRATE_ISOLATE]     = { MIGRATE_TYPES }, /* Never used */
#endif
};

__rmqueue_fallback完成的主要工作就是從後備fallbacks中找到一個遷移類型頁面塊,將其移動到目標類型中,並重新進行分配。
下圖將示例整個流程:

3. Buddy頁面釋放

頁面釋放是申請的逆過程,相對來說要簡單不少,先看一下函數調用圖吧:

order = 0時,會使用Per-CPU Page Frame來釋放,其中:

  • MIGRATE_UNMOVABLE, MIGRATE_RECLAIMABLE, MIGRATE_MOVABLE三個按原來的類型釋放;
  • MIGRATE_CMA, MIGRATE_HIGHATOMIC類型釋放到MIGRATE_UNMOVABLE類型中;
  • MIGRATE_ISOLATE類型釋放到Buddy系統中;
    此外,在PCP釋放的過程中,發生溢出時,會調用free_pcppages_bulk()來返回給Buddy系統。來一張圖就清晰了:

在整個釋放過程中,核心函數為__free_one_page,該函數的核心邏輯部分如下所示:

continue_merging:
    while (order < max_order - 1) {
        buddy_pfn = __find_buddy_pfn(pfn, order);
        buddy = page + (buddy_pfn - pfn);

        if (!pfn_valid_within(buddy_pfn))
            goto done_merging;
        if (!page_is_buddy(page, buddy, order))
            goto done_merging;
        /*
         * Our buddy is free or it is CONFIG_DEBUG_PAGEALLOC guard page,
         * merge with it and move up one order.
         */
        if (page_is_guard(buddy)) {
            clear_page_guard(zone, buddy, order, migratetype);
        } else {
            list_del(&buddy->lru);
            zone->free_area[order].nr_free--;
            rmv_page_order(buddy);
        }
        combined_pfn = buddy_pfn & pfn;
        page = page + (combined_pfn - pfn);
        pfn = combined_pfn;
        order++;
    }
  • __find_buddy_pfn: 根據釋放頁面的pfn計算對應的buddy_pfn,比如pfn = 0x1000, order = 3,則buddy_pfn = 0x1008pfn = 0x1008, order = 3,則buddy_pfn = 0x1000
  • page_is_buddy:將pagebuddy進行配對處理,判斷是否能配對;
  • 進行combine之後,再將pfn指向合併後的開始位置,繼續往上一階進行合併處理;

按照慣例,再來張圖片吧:

不得不說,還有很多細節沒有去扣,一旦沉淪,將難以自拔,待續吧。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 本人新手,很多都是摘抄,借鑒,用於留筆記用,以備不時之需,若有看客,輕噴。 方法一:直接使用(按順序分別為,最小值,最大值,平均值) 這種方法在數組,list等都可使用,簡單方便。 方法二:方法一不能滿足需求時可以看看方法二能不能用。 方法三:使用ordby升序(降序)排序。排序後的數組第一個元素( ...
  • 最近在ASP.NET Core下寫文章管理系統時,準備在分頁顯示文章內容時,使用Ajax。網上找了篇帖文,簡單翻一下,僅供自己查閱。 原鏈接:https://dotnetthoughts.net/jquery-unobtrusive-ajax-helpers-in-aspnet-core/ 原標題: ...
  • 場景 Winforn中設置ZedGraph曲線圖的屬性、坐標軸屬性、刻度屬性: https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/100112573 Winform中實現ZedGraph的多條Y軸(附源碼下載): https://bl ...
  • 一、基礎知識 1、cortex-m3支持256個中斷,其中包含了16個內核中斷,240個外部中斷 2、STM32只有84個中斷,包括16個內核中斷和68個可屏蔽中斷 3、STM32F103上只有60個可屏蔽中斷(本文重點講解F103) 4、先占優先順序和次占優先順序 先占優先順序(搶占優先順序):搶占優先順序 ...
  • "點我查看秘籍連載" CPU的歸屬:Idle進程 操作系統並不總是繁忙。例如個人PC上任務比較輕,多數時候都無法充分利用CPU,導致CPU處於空閑狀態。但CPU既然通電了,它就得運行,那麼在它沒有任務需要執行的時候,CPU在幹嘛呢? Idle進程的工作非常的輕鬆,就是累積CPU空閑時間,CPU工作在 ...
  • 一、 環境準備 Linux CentOS7.3系統一臺主機即可; MYSQL官網:https://www.mysql.com/ MYSQL軟體下載:http://ftp.kaist.ac.kr/mysql/Downloads/MySQL-5.6/ 二、 MYSQL的編譯和安裝 1:準備工作 [roo ...
  • 在瞭解了linux終端和其搭配的基本Shell(預設為bash)的基礎下,我們就可以在終端中用vi/vim編輯器編寫一個shell的腳本程式了 Shell既為一種命令解釋解釋工具,又是一種腳本編程語言,用各種shell下的命令和一些特定的語法結構就可以組成一個Shell腳本程式,shell腳本程式是 ...
  • 網路上有很多關於緩存和預取相關的問題和文章,在這裡簡單進行記錄,併進行備忘: 大型分散式系統中的緩存架構 https://www.cnblogs.com/panchanggui/p/9503666.html 保持更新,更多精彩的內容,請關註 cnblogs.com/xuyaowen ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...