背景 By 魯迅 By 高爾基 說明： 1. Kernel版本：4.14 2. ARM64處理器，Contex A53，雙核 3. 使用工具：Source Insight 3.5， Visio 1. 概述 本文將分析 。 簡單來說，在使用 分配頁面時，會將可用的 與`zone watermark`進 ...
背景
Read the fucking source code!--By 魯迅A picture is worth a thousand words.--By 高爾基
說明：
- Kernel版本：4.14
- ARM64處理器，Contex-A53，雙核
- 使用工具：Source Insight 3.5， Visio
1. 概述
本文將分析watermark。
簡單來說，在使用zoned page frame allocator分配頁面時，會將可用的free pages與zone的watermark進行比較，以便確定是否分配記憶體。
同時watermark也用來決定kswapd內核線程的睡眠與喚醒，以便對記憶體進行檢索和壓縮處理。
回憶一下之前提到過的struct zone結構體：
struct zone {
/* Read-mostly fields */
/* zone watermarks, access with *_wmark_pages(zone) macros */
unsigned long watermark[NR_WMARK];
unsigned long nr_reserved_highatomic;
....
}
enum zone_watermarks {
WMARK_MIN,
WMARK_LOW,
WMARK_HIGH,
NR_WMARK
};
#define min_wmark_pages(z) (z->watermark[WMARK_MIN])
#define low_wmark_pages(z) (z->watermark[WMARK_LOW])
#define high_wmark_pages(z) (z->watermark[WMARK_HIGH])可以看出，總共有三種水印，並且只能通過特定的巨集來訪問。
WMARK_MIN
記憶體不足的最低點，如果計算出的可用頁面低於該值，則無法進行頁面計數；WMARK_LOW
預設情況下，該值為WMARK_MIN的125%，此時kswapd將被喚醒，可以通過修改watermark_scale_factor來改變比例值；WMARK_HIGH
預設情況下，該值為WMARK_MAX的150%，此時kswapd將睡眠，可以通過修改watermark_scale_factor來改變比例值；
圖來了：
下邊將對細節進一步分析。
1. watermark初始化
先看一下初始化的相關調用函數：
nr_free_buffer_pages：統計ZONE_DMA和ZONE_NORMAL中可用頁面，managed_pages - high_pages；setup_per_zone_wmarks：根據min_free_kbytes來計算水印值，來一張圖會比較清晰易懂：
refresh_zone_stat_thresholds：
先來回顧一下struct pglist_data和struct zone：
typedef struct pglist_data {
...
struct per_cpu_nodestat __percpu *per_cpu_nodestats;
...
} pg_data_t;
struct per_cpu_nodestat {
s8 stat_threshold;
s8 vm_node_stat_diff[NR_VM_NODE_STAT_ITEMS];
};
struct zone {
...
struct per_cpu_pageset __percpu *pageset;
...
}
struct per_cpu_pageset {
struct per_cpu_pages pcp;
#ifdef CONFIG_NUMA
s8 expire;
u16 vm_numa_stat_diff[NR_VM_NUMA_STAT_ITEMS];
#endif
#ifdef CONFIG_SMP
s8 stat_threshold;
s8 vm_stat_diff[NR_VM_ZONE_STAT_ITEMS];
#endif
};
從數據結構中可以看出，針對Node和Zone，都有一個Per-CPU的結構來存儲信息，而refresh_zone_stat_thresholds就跟這兩個結構相關，用於更新這兩個結構中的stat_threshold欄位，具體的計算方式就不表了，此外還計算了percpu_drift_mark，這個在水印判斷的時候需要用到該值。閾值的作用就是用來進行判斷，從而觸發某個行為，比如記憶體壓縮處理等。
setup_per_zone_lowmem_reserve：
設置每個zone的lowmem_reserve大小，代碼中的實現邏輯如下圖所示。
calculate_totalreserve_pages：
計算各個zone的保留頁面，以及系統的總的保留頁面，其中會將high watermark看成保留頁面。如圖：
2. watermark判斷
老規矩，先看看函數調用關係圖：
__zone_watermark_ok：
watermark判斷的關鍵函數，從圖中的調用關係可以看出，最終的處理都是通過它來完成判斷的。還是用圖片來說明整體邏輯吧：
上圖中左邊判斷是否有足夠的空閑頁面，右邊直接查詢free_area[]是否可以最終進行分配。
zone_watermark_ok
：直接調用__zone_watermark_ok`，沒有其他邏輯。zone_watermark_fast：
從名字可以看出，這個是進行快速判斷，快速的體現主要是在order = 0的時候進行判斷決策，滿足條件時直接返回true，否則調用__zone_watermark_ok。
貼個代碼吧，清晰明瞭：
static inline bool zone_watermark_fast(struct zone *z, unsigned int order,
unsigned long mark, int classzone_idx, unsigned int alloc_flags)
{
long free_pages = zone_page_state(z, NR_FREE_PAGES);
long cma_pages = 0;
#ifdef CONFIG_CMA
/* If allocation can't use CMA areas don't use free CMA pages */
if (!(alloc_flags & ALLOC_CMA))
cma_pages = zone_page_state(z, NR_FREE_CMA_PAGES);
#endif
/*
* Fast check for order-0 only. If this fails then the reserves
* need to be calculated. There is a corner case where the check
* passes but only the high-order atomic reserve are free. If
* the caller is !atomic then it'll uselessly search the free
* list. That corner case is then slower but it is harmless.
*/
if (!order && (free_pages - cma_pages) > mark + z->lowmem_reserve[classzone_idx])
return true;
return __zone_watermark_ok(z, order, mark, classzone_idx, alloc_flags,
free_pages);
}
zone_watermark_ok_safe：
在zone_watermark_ok_safe函數中，主要增加了zone_page_state_snapshot的調用，用來計算free_pages，這個計算過程將比直接通過zone_page_state(z, NR_FREE_PAGES)更加精確。
bool zone_watermark_ok_safe(struct zone *z, unsigned int order,
unsigned long mark, int classzone_idx)
{
long free_pages = zone_page_state(z, NR_FREE_PAGES);
if (z->percpu_drift_mark && free_pages < z->percpu_drift_mark)
free_pages = zone_page_state_snapshot(z, NR_FREE_PAGES);
return __zone_watermark_ok(z, order, mark, classzone_idx, 0,
free_pages);
}percpu_drift_mask在refresh_zone_stat_thresholds函數中設置的，這個在上文中已經討論過了。
每個zone維護了三個欄位用於頁面的統計，如下：
struct zone {
...
struct per_cpu_pageset __percpu *pageset;
...
/*
* When free pages are below this point, additional steps are taken
* when reading the number of free pages to avoid per-cpu counter
* drift allowing watermarks to be breached
*/
unsigned long percpu_drift_mark;
...
/* Zone statistics */
atomic_long_t vm_stat[NR_VM_ZONE_STAT_ITEMS];
}內核在記憶體管理中，讀取空閑頁面與watermark值進行比較，要讀取正確的空閑頁面值，必須同時讀取vm_stat[]和__percpu *pageset計算器。如果每次都讀取的話會降低效率，因此設定了percpu_drift_mark值，只有在低於這個值的時候，才觸發更精確的計算來保持性能。
__percpu *pageset計數器的值更新時，當計數器值超過stat_threshold值，會更新到vm_stat[]中，如下圖：
zone_watermark_ok_safe中調用了zone_page_state_snapshot，與zone_page_state的區別如下圖所示：
watermark的分析到此為止，收工！
