Linux-3.14.12記憶體管理筆記【構建記憶體管理框架（1）】

来源:https://www.cnblogs.com/linhaostudy/archive/2019/10/04/11622450.html
-Advertisement-
Play Games

傳統的電腦結構中，整個物理記憶體都是一條線上的，CPU訪問整個記憶體空間所需要的時間都是相同的。這種記憶體結構被稱之為UMA（Uniform Memory Architecture，一致存儲結構）。但是隨著電腦的發展，一些新型的伺服器結構中，尤其是多CPU的情況下，物理記憶體空間的訪問就難以控制所需的時 ...


傳統的電腦結構中，整個物理記憶體都是一條線上的，CPU訪問整個記憶體空間所需要的時間都是相同的。這種記憶體結構被稱之為UMA（Uniform Memory Architecture，一致存儲結構）。但是隨著電腦的發展，一些新型的伺服器結構中，尤其是多CPU的情況下，物理記憶體空間的訪問就難以控制所需的時間相同了。在多CPU的環境下，系統只有一條匯流排，有多個CPU都鏈接到上面，而且每個CPU都有自己本地的物理記憶體空間，但是也可以通過匯流排去訪問別的CPU物理記憶體空間，同時也存在著一些多CPU都可以共同訪問的公共物理記憶體空間。於是乎這就出現了一個新的情況，由於各種物理記憶體空間所處的位置不同，於是訪問它們的時間長短也就各異，沒法保證一致。對於這種情況的記憶體結構，被稱之為NUMA（Non-Uniform Memory Architecture，非一致存儲結構）。事實上也沒有完全的UMA，比如常見的單CPU電腦，RAM、ROM等物理存儲空間的訪問時間並非一致的，只是純粹對RAM而言，是UMA的。此外還有一種稱之為MPP的結構（Massive Parallel Processing，大規模並行處理系統），是由多個SMP伺服器通過一定的節點互聯網路進行連接，協同工作，完成相同的任務。從外界使用者看來，它是一個伺服器系統。

回歸正題，著重看一下NUMA。由於NUMA存儲結構的引入，這就需要相應的管理機制來支持， linux 2.4版本就已經開始對其支持了。隨著新增管理機制的支持，也隨之引入了Node的概念（存儲節點），把訪問時間相同的存儲空間歸結為一個存儲節點。於是當前分析的3.14.12版本，linux的物理記憶體管理機制將物理記憶體劃分為三個層次來管理，依次是：Node（存儲節點）、Zone（管理區）和Page（頁面）。

image

存儲節點的數據結構為pg_data_t，每個NUMA節點都有一個pg_data_t負責記載該節點的記憶體佈局信息。其中pg_data_t結構體中存儲管理區信息的為node_zones成員，其數據結構為zone，每個pg_data_t都有多個node_zones，通常是三個：ZONE_DMA、ZONE_NORMAL、ZONE_HIGHMEM。

ZONE_DMA區通常是由於電腦中部分設備無法直接訪問全部記憶體空間而特地劃分出來給該部分設備使用的區，x86環境中，該區通常小於16M。

ZONE_NORMAL區位於ZONE_DMA後面，這個區域被內核直接映射到線性地址的高端部分，x86環境中，該區通常為16M-896M。

ZONE_HIGHMEM區則是系統除了ZONE_DMA和ZONE_NORMAL區後剩下的物理記憶體，這個區不能直接被內核映射，x86環境中，該區通常為896M以後的記憶體。

為什麼要有高端記憶體的存在？通常都知道內核空間的大小為1G（線性空間為：3-4G）。那麼映射這1G記憶體需要多少頁全局目錄項？很容易可以算出來是256項，內核有這麼多線程在其中，1G夠嗎？很明顯不夠，如果要使用超出1G的記憶體空間怎麼辦？如果要使用記憶體，很明顯必須要做映射，那麼騰出幾個頁全局目錄項出來做映射？Bingo，就是這樣，那麼騰出多少來呢？linux內核的設計就是騰出32個頁全局目錄項，256的1/8。那麼32個頁全局目錄項對應多大的記憶體空間？算一下可以知道是128M，也就是說直接映射的記憶體空間是896M。使用超過896M的記憶體空間視為高端記憶體，一旦使用的時候，就需要做映射轉換，這是一件很耗資源的事情。所以不要常使用高端記憶體，就是這麼一個由來。

接著看一下記憶體管理框架的初始化實現，initmem_init()：

【file：/arch/x86/mm/init_32.c】
#ifndef CONFIG_NEED_MULTIPLE_NODES
void __init initmem_init(void)
{
#ifdef CONFIG_HIGHMEM
    highstart_pfn = highend_pfn = max_pfn;
    if (max_pfn > max_low_pfn)
        highstart_pfn = max_low_pfn;
    printk(KERN_NOTICE "%ldMB HIGHMEM available.\n",
        pages_to_mb(highend_pfn - highstart_pfn));
    high_memory = (void *) __va(highstart_pfn * PAGE_SIZE - 1) + 1;
#else
    high_memory = (void *) __va(max_low_pfn * PAGE_SIZE - 1) + 1;
#endif
 
    memblock_set_node(0, (phys_addr_t)ULLONG_MAX, &memblock.memory, 0);
    sparse_memory_present_with_active_regions(0);
 
#ifdef CONFIG_FLATMEM
    max_mapnr = IS_ENABLED(CONFIG_HIGHMEM) ? highend_pfn : max_low_pfn;
#endif
    __vmalloc_start_set = true;
 
    printk(KERN_NOTICE "%ldMB LOWMEM available.\n",
            pages_to_mb(max_low_pfn));
 
    setup_bootmem_allocator();
}
#endif /* !CONFIG_NEED_MULTIPLE_NODES */

將high_memory初始化為低端記憶體頁框max_low_pfn對應的地址大小，接著調用memblock_set_node，根據函數命名，可以推斷出該函數用於給早前建立的memblock演算法設置node節點信息。

memblock_set_node的實現：

【file：/mm/memblock.c】
/**
 * memblock_set_node - set node ID on memblock regions
 * @base: base of area to set node ID for
 * @size: size of area to set node ID for
 * @type: memblock type to set node ID for
 * @nid: node ID to set
 *
 * Set the nid of memblock @type regions in [@base,@base+@size) to @nid.
 * Regions which cross the area boundaries are split as necessary.
 *
 * RETURNS:
 * 0 on success, -errno on failure.
 */
int __init_memblock memblock_set_node(phys_addr_t base, phys_addr_t size,
                      struct memblock_type *type, int nid)
{
    int start_rgn, end_rgn;
    int i, ret;
 
    ret = memblock_isolate_range(type, base, size, &start_rgn, &end_rgn);
    if (ret)
        return ret;
 
    for (i = start_rgn; i < end_rgn; i++)
        memblock_set_region_node(&type->regions[i], nid);
 
    memblock_merge_regions(type);
    return 0;
}

memblock_set_node主要調用了三個函數做相關操作：memblock_isolate_range、memblock_set_region_node和memblock_merge_regions。

其中memblock_isolate_range：

【file：/mm/memblock.c】
/**
 * memblock_isolate_range - isolate given range into disjoint memblocks
 * @type: memblock type to isolate range for
 * @base: base of range to isolate
 * @size: size of range to isolate
 * @start_rgn: out parameter for the start of isolated region
 * @end_rgn: out parameter for the end of isolated region
 *
 * Walk @type and ensure that regions don't cross the boundaries defined by
 * [@base,@base+@size). Crossing regions are split at the boundaries,
 * which may create at most two more regions. The index of the first
 * region inside the range is returned in *@start_rgn and end in *@end_rgn.
 *
 * RETURNS:
 * 0 on success, -errno on failure.
 */
static int __init_memblock memblock_isolate_range(struct memblock_type *type,
                    phys_addr_t base, phys_addr_t size,
                    int *start_rgn, int *end_rgn)
{
    phys_addr_t end = base + memblock_cap_size(base, &size);
    int i;
 
    *start_rgn = *end_rgn = 0;
 
    if (!size)
        return 0;
 
    /* we'll create at most two more regions */
    while (type->cnt + 2 > type->max)
        if (memblock_double_array(type, base, size) < 0)
            return -ENOMEM;
 
    for (i = 0; i < type->cnt; i++) {
        struct memblock_region *rgn = &type->regions[i];
        phys_addr_t rbase = rgn->base;
        phys_addr_t rend = rbase + rgn->size;
 
        if (rbase >= end)
            break;
        if (rend <= base)
            continue;
 
        if (rbase < base) {
            /*
             * @rgn intersects from below. Split and continue
             * to process the next region - the new top half.
             */
            rgn->base = base;
            rgn->size -= base - rbase;
            type->total_size -= base - rbase;
            memblock_insert_region(type, i, rbase, base - rbase,
                           memblock_get_region_node(rgn),
                           rgn->flags);
        } else if (rend > end) {
            /*
             * @rgn intersects from above. Split and redo the
             * current region - the new bottom half.
             */
            rgn->base = end;
            rgn->size -= end - rbase;
            type->total_size -= end - rbase;
            memblock_insert_region(type, i--, rbase, end - rbase,
                           memblock_get_region_node(rgn),
                           rgn->flags);
        } else {
            /* @rgn is fully contained, record it */
            if (!*end_rgn)
                *start_rgn = i;
            *end_rgn = i + 1;
        }
    }
 
    return 0;
}

該函數主要做分割操作，在memblock演算法建立時，只是判斷了flags是否相同，然後將連續記憶體做合併操作，而此時建立node節點，則根據入參base和size標記節點記憶體範圍將記憶體劃分開來。如果memblock中的region恰好以該節點記憶體範圍末尾劃分開來的話，那麼則將region的索引記錄至start_rgn，索引加1記錄至end_rgn返回回去；如果memblock中的region跨越了該節點記憶體末尾分界，那麼將會把當前的region邊界調整為node節點記憶體範圍邊界，另一部分通過memblock_insert_region()函數插入到memblock管理regions當中，以完成拆分。

順便看一下memblock_insert_region()函數：

【file：/mm/memblock.c】
/**
 * memblock_insert_region - insert new memblock region
 * @type: memblock type to insert into
 * @idx: index for the insertion point
 * @base: base address of the new region
 * @size: size of the new region
 * @nid: node id of the new region
 * @flags: flags of the new region
 *
 * Insert new memblock region [@base,@base+@size) into @type at @idx.
 * @type must already have extra room to accomodate the new region.
 */
static void __init_memblock memblock_insert_region(struct memblock_type *type,
                           int idx, phys_addr_t base,
                           phys_addr_t size,
                           int nid, unsigned long flags)
{
    struct memblock_region *rgn = &type->regions[idx];
 
    BUG_ON(type->cnt >= type->max);
    memmove(rgn + 1, rgn, (type->cnt - idx) * sizeof(*rgn));
    rgn->base = base;
    rgn->size = size;
    rgn->flags = flags;
    memblock_set_region_node(rgn, nid);
    type->cnt++;
    type->total_size += size;
}

這裡一個memmove()將後面的region信息往後移，另外調用memblock_set_region_node()將原region的node節點號保留在被拆分出來的region當中。

而memblock_set_region_node()函數實現僅是賦值而已：

【file：/mm/memblock.h】
static inline void memblock_set_region_node(struct memblock_region *r, int nid)
{
    r->nid = nid;
}

至此，回到memblock_set_node()函數，裡面接著memblock_isolate_range()被調用的memblock_set_region_node()已知是獲取node節點號，而memblock_merge_regions()則前面已經分析過了，是用於將region合併的。

最後回到initmem_init()函數中，memblock_set_node()返回後，接著調用的函數為sparse_memory_present_with_active_regions()。

這裡sparse memory涉及到linux的一個記憶體模型概念。linux內核有三種記憶體模型：Flat memory、Discontiguous memory和Sparse memory。其分別表示：

  • Flat memory：顧名思義，物理記憶體是平坦連續的，整個系統只有一個node節點。
  • Discontiguous memory：物理記憶體不連續，記憶體中存在空洞，也因而系統將物理記憶體分為多個節點，但是每個節點的內部記憶體是平坦連續的。值得註意的是，該模型不僅是對於NUMA環境而言，UMA環境上同樣可能存在多個節點的情況。
  • Sparse memory：物理記憶體是不連續的，節點的內部記憶體也可能是不連續的，系統也因而可能會有一個或多個節點。此外，該模型是記憶體熱插拔的基礎。

看一下sparse_memory_present_with_active_regions()的實現：

【file：/mm/page_alloc.c】
/**
 * sparse_memory_present_with_active_regions - Call memory_present for each active range
 * @nid: The node to call memory_present for. If MAX_NUMNODES, all nodes will be used.
 *
 * If an architecture guarantees that all ranges registered with
 * add_active_ranges() contain no holes and may be freed, this
 * function may be used instead of calling memory_present() manually.
 */
void __init sparse_memory_present_with_active_regions(int nid)
{
    unsigned long start_pfn, end_pfn;
    int i, this_nid;
 
    for_each_mem_pfn_range(i, nid, &start_pfn, &end_pfn, &this_nid)
        memory_present(this_nid, start_pfn, end_pfn);
}

裡面的for_each_mem_pfn_range()是一個旨在迴圈的巨集定義，而memory_present()由於實驗環境中沒有定義CONFIG_HAVE_MEMORY_PRESENT，所以是個空函數。暫且擱置不做深入研究。

最後看一下initmem_init()退出前調用的函數setup_bootmem_allocator()：

【file：/arch/x86/mm/init_32.c】
void __init setup_bootmem_allocator(void)
{
    printk(KERN_INFO " mapped low ram: 0 - %08lx\n",
         max_pfn_mapped<<PAGE_SHIFT);
    printk(KERN_INFO " low ram: 0 - %08lx\n", max_low_pfn<<PAGE_SHIFT);
}

原來該函數是用來初始化bootmem管理演算法的，但現在x86的環境已經使用了memblock管理演算法，這裡僅作保留列印部分信息。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 關於.NET HttpClient方式獲取微信小程式碼（二維碼）
    隨著微信小程式的火熱應用，市面上有關小程式開發的需求也多了起來。近來分析了一項生成有關生成微信小程式碼的需求——要求掃碼跳轉到小程式指定頁面（帶參數）；看了下小程式官方文檔，以及網上的例子，未看到多少有價值的採用C#調用小程式介面生成小程式碼的例子，於是拾起多年前的代碼，略作分析嘗試，在此分享給有需 ...
  • .net core 使用ViewComponent
    .net core 中的局部視圖組件是ViewComponent，可以用於建制重覆使用公共功能組件 一、新建一個類DemoViewComponent(必須以ViewComponent結尾)且繼承ViewComponent 二、在View/Share目錄下建立Components目錄，併在此目錄下建立 ...
  • ABP開發手記13 - 更新菜單
    點這裡進入ABP開發手記目錄 菜單更新 在展示層(即JD.CRS.Web.Mvc)的Startup下打開CRSNavigationProvider.cs //用以存放菜單相關信息 修改如下 1 using Abp.Application.Navigation; 2 using Abp.Localiz ...
  • .net core 使用Rotativa創建PDF文檔
    一、下載Rotaiva 工具 = > NuGet包管理器 = > 管理解決方案的NuGet程式包 在打開的頁面中搜索 Rotativa.AspNetCore 如下圖： 選中紅框的記錄,左邊會出現你解決方案中的所有項目，選中要添加的項目點擊安裝，安裝完成後項目後面會出現版本號，如下圖： 二、配置Rot ...
  • Centos7-VNC安裝
    安裝tigervnc 查看是否安裝VNC rpm q tigervnc server yum安裝 yum install tigervnc tigervnc server y 設置密碼(提示選擇no) vncpasswd 啟動vncserver打開一個埠 vncserver :1 查看VNC運行端 ...
  • 嵌入式 03 常見的電路知識一
    1、拉電流與灌電流（對輸出端而言） 拉電流和灌電流是衡量電路輸出驅動能力的參數，這一說法主要用在數字電路中，因為數字電路的輸出只有高、低兩種電平值（0、1） 當輸出端輸出為高電平時，一般是輸出端對負載提供電流，其提供電流的數值叫做“拉電流” 當輸出端輸出為低電平時，一般是輸出端要吸收負載的電流，其吸 ...
  • [20190929]bash使用bc計算的相關問題.txt
    [20190929]bash使用bc計算的相關問題.txt--//快放假沒什麼事情，使用bash寫一些小程式，轉化number到oracle number編碼，使用bc計算功能，發現一些小問題--//做一些記錄：1.bc顯示小數點前的0:$ echo "scale=3; 1/3" | bc.333- ...
  • 靜態和動態鏈接庫的製作及使用
    gcc 庫相關的編譯選項 -I 說明：大寫i，對於C語言來說，頭文件幾乎總是位於/usr/include及其子目錄中。-I用來包含子目錄或者非標準位置的頭文件路徑。 -l 說明：小寫L，標準系統庫文件一般存儲於/lib和/usr/lib目錄中，C語言編譯器（準確的說是鏈接程式）需要知道要搜索哪些庫文 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類