【原創】（五）Linux記憶體管理zone_sizes_init

来源:https://www.cnblogs.com/LoyenWang/archive/2019/09/22/11568481.html
-Advertisement-
Play Games

背景 By 魯迅 By 高爾基 說明： 1. Kernel版本：4.14 2. ARM64處理器，Contex A53，雙核 3. 使用工具：Source Insight 3.5， Visio 1. 介紹 在 "（四）Linux記憶體模型之Sparse Memory Model" 中，我們分析了 函數 ...


背景

  • Read the fucking source code! --By 魯迅
  • A picture is worth a thousand words. --By 高爾基

說明：

  1. Kernel版本：4.14
  2. ARM64處理器，Contex-A53，雙核
  3. 使用工具：Source Insight 3.5， Visio

1. 介紹

在（四）Linux記憶體模型之Sparse Memory Model中，我們分析了bootmem_init函數的上半部分，這次讓我們來到下半部分吧，下半部分主要是圍繞zone_sizes_init函數展開。
前景回顧：
bootmem_init()函數代碼如下：

void __init bootmem_init(void)
{
    unsigned long min, max;

    min = PFN_UP(memblock_start_of_DRAM());
    max = PFN_DOWN(memblock_end_of_DRAM());

    early_memtest(min << PAGE_SHIFT, max << PAGE_SHIFT);

    max_pfn = max_low_pfn = max;

    arm64_numa_init();
    /*
     * Sparsemem tries to allocate bootmem in memory_present(), so must be
     * done after the fixed reservations.
     */
    arm64_memory_present();

    sparse_init();
    zone_sizes_init(min, max);

    memblock_dump_all();
}

在Linux中，物理記憶體地址區域採用zone來管理。不打算來太多前戲了，先上一張zone_sizes_init的函數調用圖吧：

需要再說明一點是，使用的是ARM64，UMA（只有一個Node），此外，流程分析中那些沒有打開的巨集，相應的函數就不深入分析了。開始探索吧！

2. 數據結構

關鍵的結構體如上圖所示。
在NUMA架構下，每一個Node都會對應一個struct pglist_data，在UMA架構中只會使用唯一的一個struct pglist_data結構，比如我們在ARM64 UMA中使用的全局變數struct pglist_data __refdata contig_page_data。

struct pglist_data 關鍵欄位

struct zone node_zones[];           //對應的ZONE區域，比如ZONE_DMA，ZONE_NORMAL等
struct zonelist_node_zonelists[];

unsigned long node_start_pfn;           //節點的起始記憶體頁面幀號
unsigned long node_present_pages;    //總共可用的頁面數
unsigned long node_spanned_pages;  //總共的頁面數，包括有空洞的區域

wait_queue_head_t kswapd_wait;        //頁面回收進程使用的等待隊列
struct task_struct *kswapd;               //頁面回收進程

struct zone 關鍵欄位

unsigned long watermark[];          //水位值，WMARK_MIN/WMARK_LOV/WMARK_HIGH，頁面分配器和kswapd頁面回收中會用到
long lowmem_reserved[];             //zone中預留的記憶體
struct pglist_data *zone_pgdat;     //執行所屬的pglist_data
struct per_cpu_pageset *pageset;  //Per-CPU上的頁面，減少自旋鎖的爭用

unsigned long zone_start_pfn;       //ZONE的起始記憶體頁面幀號
unsigned long managed_pages;    //被Buddy System管理的頁面數量
unsigned long spanned_pages;     //ZONE中總共的頁面數，包含空洞的區域
unsigned long present_pages;      //ZONE里實際管理的頁面數量

struct frea_area free_area[];         //管理空閑頁面的列表

巨集觀點的描述：struct pglist_data描述單個Node的記憶體（UMA架構中的所有記憶體），然後記憶體又分成不同的zone區域，zone描述區域內的不同頁面，包括空閑頁面，Buddy System管理的頁面等。

3. zone

上個代碼吧：

enum zone_type {
#ifdef CONFIG_ZONE_DMA
    /*
     * ZONE_DMA is used when there are devices that are not able
     * to do DMA to all of addressable memory (ZONE_NORMAL). Then we
     * carve out the portion of memory that is needed for these devices.
     * The range is arch specific.
     *
     * Some examples
     *
     * Architecture     Limit
     * ---------------------------
     * parisc, ia64, sparc  <4G
     * s390         <2G
     * arm          Various
     * alpha        Unlimited or 0-16MB.
     *
     * i386, x86_64 and multiple other arches
     *          <16M.
     */
    ZONE_DMA,
#endif
#ifdef CONFIG_ZONE_DMA32
    /*
     * x86_64 needs two ZONE_DMAs because it supports devices that are
     * only able to do DMA to the lower 16M but also 32 bit devices that
     * can only do DMA areas below 4G.
     */
    ZONE_DMA32,
#endif
    /*
     * Normal addressable memory is in ZONE_NORMAL. DMA operations can be
     * performed on pages in ZONE_NORMAL if the DMA devices support
     * transfers to all addressable memory.
     */
    ZONE_NORMAL,
#ifdef CONFIG_HIGHMEM
    /*
     * A memory area that is only addressable by the kernel through
     * mapping portions into its own address space. This is for example
     * used by i386 to allow the kernel to address the memory beyond
     * 900MB. The kernel will set up special mappings (page
     * table entries on i386) for each page that the kernel needs to
     * access.
     */
    ZONE_HIGHMEM,
#endif
    ZONE_MOVABLE,
#ifdef CONFIG_ZONE_DEVICE
    ZONE_DEVICE,
#endif
    __MAX_NR_ZONES

};

通用記憶體管理要應對各種不同的架構，X86，ARM，MIPS...，為了減少複雜度，只需要挑自己架構相關的。目前我使用的平臺，只配置了ZONE_DMA和ZONE_NORMAL。Log輸出如下圖：

為什麼沒有ZONE_NORMAL區域內，跟蹤一通代碼發現，ZONE_DMA區域設置的大小是從起始記憶體開始的4G區域並且不能超過4G邊界區域，而我使用的記憶體為512M，所以都在這個區域內了。

從上述結構體中可以看到，ZONE_DMA是由巨集定義的，ZONE_NORMAL才是所有架構都有的區域，那麼為什麼需要一個ZONE_DMA區域內，來張圖：

所以，如果所有設備的定址範圍都是在記憶體的區域內的話，那麼一個ZONE_NORMAL是夠用的。

4. calculate_node_totalpages

這個從名字看就很容易知道是為了統計Node中的頁面數，一張圖片解釋所有：

  • 前邊的文章分析過，物理記憶體由memblock維護，整個記憶體區域，是有可能存在空洞區域，也就是圖中的hole部分；
  • 針對每個類型的ZONE區域，分別會去統計跨越的page frame，以及可能存在的空洞，並計算實際可用的頁面present_pages；
  • Node管理各個ZONE，它的spanned_pages和present_pages是統計各個ZONE相應頁面之和。

這個過程計算完，基本就把頁框的信息納入管理了。

5. free_area_init_core

簡單來說，free_area_init_core函數主要完成struct pglist_data結構中的欄位初始化，並初始化它所管理的各個zone，看一下代碼吧：

/*
 * Set up the zone data structures:
 *   - mark all pages reserved
 *   - mark all memory queues empty
 *   - clear the memory bitmaps
 *
 * NOTE: pgdat should get zeroed by caller.
 */
static void __paginginit free_area_init_core(struct pglist_data *pgdat)
{
    enum zone_type j;
    int nid = pgdat->node_id;

    pgdat_resize_init(pgdat);
#ifdef CONFIG_NUMA_BALANCING
    spin_lock_init(&pgdat->numabalancing_migrate_lock);
    pgdat->numabalancing_migrate_nr_pages = 0;
    pgdat->numabalancing_migrate_next_window = jiffies;
#endif
#ifdef CONFIG_TRANSPARENT_HUGEPAGE
    spin_lock_init(&pgdat->split_queue_lock);
    INIT_LIST_HEAD(&pgdat->split_queue);
    pgdat->split_queue_len = 0;
#endif
    init_waitqueue_head(&pgdat->kswapd_wait);
    init_waitqueue_head(&pgdat->pfmemalloc_wait);
#ifdef CONFIG_COMPACTION
    init_waitqueue_head(&pgdat->kcompactd_wait);
#endif
    pgdat_page_ext_init(pgdat);
    spin_lock_init(&pgdat->lru_lock);
    lruvec_init(node_lruvec(pgdat));

    pgdat->per_cpu_nodestats = &boot_nodestats;

    for (j = 0; j < MAX_NR_ZONES; j++) {
        struct zone *zone = pgdat->node_zones + j;
        unsigned long size, realsize, freesize, memmap_pages;
        unsigned long zone_start_pfn = zone->zone_start_pfn;

        size = zone->spanned_pages;
        realsize = freesize = zone->present_pages;

        /*
         * Adjust freesize so that it accounts for how much memory
         * is used by this zone for memmap. This affects the watermark
         * and per-cpu initialisations
         */
        memmap_pages = calc_memmap_size(size, realsize);
        if (!is_highmem_idx(j)) {
            if (freesize >= memmap_pages) {
                freesize -= memmap_pages;
                if (memmap_pages)
                    printk(KERN_DEBUG
                           "  %s zone: %lu pages used for memmap\n",
                           zone_names[j], memmap_pages);
            } else
                pr_warn("  %s zone: %lu pages exceeds freesize %lu\n",
                    zone_names[j], memmap_pages, freesize);
        }

        /* Account for reserved pages */
        if (j == 0 && freesize > dma_reserve) {
            freesize -= dma_reserve;
            printk(KERN_DEBUG "  %s zone: %lu pages reserved\n",
                    zone_names[0], dma_reserve);
        }

        if (!is_highmem_idx(j))
            nr_kernel_pages += freesize;
        /* Charge for highmem memmap if there are enough kernel pages */
        else if (nr_kernel_pages > memmap_pages * 2)
            nr_kernel_pages -= memmap_pages;
        nr_all_pages += freesize;

        /*
         * Set an approximate value for lowmem here, it will be adjusted
         * when the bootmem allocator frees pages into the buddy system.
         * And all highmem pages will be managed by the buddy system.
         */
        zone->managed_pages = is_highmem_idx(j) ? realsize : freesize;
#ifdef CONFIG_NUMA
        zone->node = nid;
#endif
        zone->name = zone_names[j];
        zone->zone_pgdat = pgdat;
        spin_lock_init(&zone->lock);
        zone_seqlock_init(zone);
        zone_pcp_init(zone);

        if (!size)
            continue;

        set_pageblock_order();
        setup_usemap(pgdat, zone, zone_start_pfn, size);
        init_currently_empty_zone(zone, zone_start_pfn, size);
        memmap_init(size, nid, j, zone_start_pfn);
    }
}
  • 初始化struct pglist_data內部使用的鎖和隊列；

遍歷各個zone區域，進行如下初始化：

  • 根據zone的spanned_pages和present_pages，調用calc_memmap_size計算管理該zone所需的struct page結構所占的頁面數memmap_pages；

  • zone中的freesize表示可用的區域，需要減去memmap_pages和DMA_RESERVE的區域，如下圖在開發板的Log列印所示：memmap使用2048頁，DMA 保留0頁；

  • 計算nr_kernel_pages和nr_all_pages的數量，為了說明這兩個參數和頁面的關係，來一張圖（由於我使用的平臺只有一個ZONE_DMA區域，且ARM64沒有ZONE_HIGHMEM區域，不具備典型性，故以ARM32為例）：

  • 初始化zone使用的各類鎖；

  • 分配和初始化usemap，初始化Buddy System中使用的free_area[], lruvec, pcp等；

  • memmap_init()->memmap_init_zone()，該函數主要是根據PFN，通過pfn_to_page找到對應的struct page結構，並將該結構進行初始化處理，並設置MIGRATE_MOVABLE標誌，表明可移動；

最後，當我們回顧bootmem_init函數時，發現它基本上完成了linux物理記憶體框架的初始化，包括Node, Zone, Page Frame，以及對應的數據結構等。

結合上篇文章（四）Linux記憶體模型之Sparse Memory Model閱讀，效果會更佳噢！

持續中...


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 表達式樹練習實踐：入門基礎
    表達式樹練習實踐：入門基礎 [TOC] 什麼是表達式樹 來自微軟官方文檔的定義： 表達式樹以樹形數據結構表示代碼。 它能幹什麼呢？ 你可以對錶達式樹中的代碼進行編輯和運算。 這樣能夠動態修改可執行代碼、在不同資料庫中執行 LINQ 查詢以及創建動態查詢。 好不好玩？ 表達式樹還能用於動態語言運行時 ...
  • .NET Core下自帶容器IServiceCollection以及AutoFac以及AutoFac中AOP簡介
    https://www.cnblogs.com/artech/p/net-core-di-01.html 大內老A的在.NET Core下對這些的介紹，有一系列文章 https://www.cnblogs.com/jesse2013/p/di-in-aspnetcore.html https://w ...
  • IOC控制反轉
    參考博客地址： http://www.cnblogs.com/qqlin/archive/2012/10/16/2717964.html https://www.cnblogs.com/lyps/p/10560256.html 這篇文章主要介紹.NET Framework下麵的IOC以及Unity的 ...
  • Linux基礎知識之文件的許可權
    Linux基礎知識之文件許可權(一) Linux優點之一就是它擁有多用戶多任務的環境，在提供文件共用的同時也能保證用戶文件的安全性。所以，設置文件的許可權管理變得尤為重要。 Linux基礎知識之文件許可權(一) 1. 基礎許可權 1.1許可權講解 1.2 許可權更改 chgrp：改變文件的所屬群組 chmod ...
  • SUSE Storage6 環境搭建詳細步驟 - Win10 + VMware WorkStation
    Storage 6 網路架構 Storag 6 網路環境配置 主機名 Public網路 管理網路 集群網路 說明 admin 192.168.2.39 172.200.50.39 管理節點 node001 192.168.2.40 172.200.50.40 192.168.3.40 MON,OSD ...
  • Linux下使用ip netns命令進行網口的隔離和配置ip地址
    1. 添加隔離標記符： ip netns add fd 2. 將指定網卡放入隔離中： ip link set eth1 netns fd 3. 在隔離環境下執行命令： ip netns exec fd ifconfig eth1 down ip netns exec fd ifconfig eth1 ...
  • Linux中IP配置
    一、獲取網卡名稱 一、獲取網卡名稱 ip a ifconfig（安裝net-tools後可用) ip a ifconfig（安裝net-tools後可用) 二、進入網卡配置文件所在路徑 cd /etc/sysconfig/network-scripts/ 三、編輯網卡配置文件 Vi ifcfg-en ...
  • 本地Yum源配置
    一、網路源 二、配置源 三、配置本地源 編輯本地源 vim dvd.repo 四、 永久掛載 五、本地yum源搭建完成 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類