【原創】Linux中斷子系統（四）-Workqueue

来源:https://www.cnblogs.com/LoyenWang/archive/2020/06/23/13185451.html
-Advertisement-
Play Games

背景 Read the fucking source code! --By 魯迅 A picture is worth a thousand words. --By 高爾基 說明： Kernel版本：4.14 ARM64處理器，Contex-A53，雙核 使用工具：Source Insight 3. ...


背景

  • Read the fucking source code! --By 魯迅
  • A picture is worth a thousand words. --By 高爾基

說明：

  1. Kernel版本：4.14
  2. ARM64處理器，Contex-A53，雙核
  3. 使用工具：Source Insight 3.5， Visio

1. 概述

  • Workqueue工作隊列是利用內核線程來非同步執行工作任務的通用機制；
  • Workqueue工作隊列可以用作中斷處理的Bottom-half機制，利用進程上下文來執行中斷處理中耗時的任務，因此它允許睡眠，而Softirq和Tasklet在處理任務時不能睡眠；

來一張概述圖：

  • 在中斷處理過程中，或者其他子系統中，調用workqueue的調度或入隊介面後，通過建立好的鏈接關係圖逐級找到合適的worker，最終完成工作任務的執行；

2. 數據結構

2.1 總覽

此處應有圖：

  • 先看看關鍵的數據結構：
    1. work_struct：工作隊列調度的最小單位，work item；
    2. workqueue_struct：工作隊列，work item都掛入到工作隊列中；
    3. worker：work item的處理者，每個worker對應一個內核線程；
    4. worker_pool：worker池（內核線程池），是一個共用資源池，提供不同的worker來對work item進行處理；
    5. pool_workqueue：充當橋梁紐帶的作用，用於連接workqueue和worker_pool，建立鏈接關係；

下邊看看細節吧：

2.2 work

struct work_struct用來描述work，初始化一個work並添加到工作隊列後，將會將其傳遞到合適的內核線程來進行處理，它是用於調度的最小單位。

關鍵欄位描述如下：

struct work_struct {
	atomic_long_t data;     //低比特存放狀態位，高比特存放worker_pool的ID或者pool_workqueue的指針
	struct list_head entry; //用於添加到其他隊列上
	work_func_t func;       //工作任務的處理函數，在內核線程中回調
#ifdef CONFIG_LOCKDEP
	struct lockdep_map lockdep_map;
#endif
};

圖片說明下data欄位：

2.3 workqueue

  • 內核中工作隊列分為兩種：

    1. bound：綁定處理器的工作隊列，每個worker創建的內核線程綁定到特定的CPU上運行；
    2. unbound：不綁定處理器的工作隊列，創建的時候需要指定WQ_UNBOUND標誌，內核線程可以在處理器間遷移；

  • 內核預設創建了一些工作隊列（用戶也可以創建）：

    1. system_mq：如果work item執行時間較短，使用本隊列，調用schedule[_delayed]_work[_on]()介面就是添加到本隊列中；
    2. system_highpri_mq：高優先順序工作隊列，以nice值-20來運行；
    3. system_long_wq：如果work item執行時間較長，使用本隊列；
    4. system_unbound_wq：該工作隊列的內核線程不綁定到特定的處理器上；
    5. system_freezable_wq：該工作隊列用於在Suspend時可凍結的work item；
    6. system_power_efficient_wq：該工作隊列用於節能目的而選擇犧牲性能的work item；
    7. system_freezable_power_efficient_wq：該工作隊列用於節能或Suspend時可凍結目的的work item；

struct workqueue_struct關鍵欄位介紹如下：

struct workqueue_struct {
	struct list_head	pwqs;		/* WR: all pwqs of this wq */   //所有的pool_workqueue都添加到本鏈表中
	struct list_head	list;		/* PR: list of all workqueues */    //用於將工作隊列添加到全局鏈表workqueues中

	struct list_head	maydays;	/* MD: pwqs requesting rescue */    //rescue狀態下的pool_workqueue添加到本鏈表中
	struct worker		*rescuer;	/* I: rescue worker */  //rescuer內核線程，用於處理記憶體緊張時創建工作線程失敗的情況

	struct pool_workqueue	*dfl_pwq;	/* PW: only for unbound wqs */

	char			name[WQ_NAME_LEN]; /* I: workqueue name */

	/* hot fields used during command issue, aligned to cacheline */
	unsigned int		flags ____cacheline_aligned; /* WQ: WQ_* flags */
	struct pool_workqueue __percpu *cpu_pwqs; /* I: per-cpu pwqs */     //Per-CPU都創建pool_workqueue
	struct pool_workqueue __rcu *numa_pwq_tbl[]; /* PWR: unbound pwqs indexed by node */    //Per-Node創建pool_workqueue
    ...
};

2.4 worker

  • 每個worker對應一個內核線程，用於對work item的處理；
  • worker根據工作狀態，可以添加到worker_pool的空閑鏈表或忙碌列表中；
  • worker處於空閑狀態時並接收到工作處理請求，將喚醒內核線程來處理；
  • 內核線程是在每個worker_pool中由一個初始的空閑工作線程創建的，並根據需要動態創建和銷毀；

關鍵欄位描述如下：

struct worker {
	/* on idle list while idle, on busy hash table while busy */
	union {
		struct list_head	entry;	/* L: while idle */     //用於添加到worker_pool的空閑鏈表中
		struct hlist_node	hentry;	/* L: while busy */ //用於添加到worker_pool的忙碌列表中
	};

	struct work_struct	*current_work;	/* L: work being processed */   //當前正在處理的work
	work_func_t		current_func;	/* L: current_work's fn */                  //當前正在執行的work回調函數
	struct pool_workqueue	*current_pwq; /* L: current_work's pwq */   //指向當前work所屬的pool_workqueue

	struct list_head	scheduled;	/* L: scheduled works */    //所有被調度執行的work都將添加到該鏈表中

	/* 64 bytes boundary on 64bit, 32 on 32bit */

	struct task_struct	*task;		/* I: worker task */    //指向內核線程
	struct worker_pool	*pool;		/* I: the associated pool */    //該worker所屬的worker_pool
						/* L: for rescuers */
	struct list_head	node;		/* A: anchored at pool->workers */  //添加到worker_pool->workers鏈表中
						/* A: runs through worker->node */
    ...
};

2.5 worker_pool

  • worker_pool是一個資源池，管理多個worker，也就是管理多個內核線程；
  • 針對綁定類型的工作隊列，worker_pool是Per-CPU創建，每個CPU都有兩個worker_pool，對應不同的優先順序，nice值分別為0和-20；
  • 針對非綁定類型的工作隊列，worker_pool創建後會添加到unbound_pool_hash哈希表中；
  • worker_pool管理一個空閑鏈表和一個忙碌列表，其中忙碌列表由哈希管理；

關鍵欄位描述如下：

struct worker_pool {
	spinlock_t		lock;		/* the pool lock */
	int			cpu;		/* I: the associated cpu */     //綁定到CPU的workqueue，代表CPU ID
	int			node;		/* I: the associated node ID */ //非綁定類型的workqueue，代表記憶體Node ID
	int			id;		/* I: pool ID */
	unsigned int		flags;		/* X: flags */

	unsigned long		watchdog_ts;	/* L: watchdog timestamp */

	struct list_head	worklist;	/* L: list of pending works */  //pending狀態的work添加到本鏈表
	int			nr_workers;	/* L: total number of workers */    //worker的數量

	/* nr_idle includes the ones off idle_list for rebinding */
	int			nr_idle;	/* L: currently idle ones */

	struct list_head	idle_list;	/* X: list of idle workers */   //處於IDLE狀態的worker添加到本鏈表
	struct timer_list	idle_timer;	/* L: worker idle timeout */
	struct timer_list	mayday_timer;	/* L: SOS timer for workers */

	/* a workers is either on busy_hash or idle_list, or the manager */
	DECLARE_HASHTABLE(busy_hash, BUSY_WORKER_HASH_ORDER);   //工作狀態的worker添加到本哈希表中
						/* L: hash of busy workers */

	/* see manage_workers() for details on the two manager mutexes */
	struct worker		*manager;	/* L: purely informational */
	struct mutex		attach_mutex;	/* attach/detach exclusion */
	struct list_head	workers;	/* A: attached workers */   //worker_pool管理的worker添加到本鏈表中
	struct completion	*detach_completion; /* all workers detached */

	struct ida		worker_ida;	/* worker IDs for task name */

	struct workqueue_attrs	*attrs;		/* I: worker attributes */
	struct hlist_node	hash_node;	/* PL: unbound_pool_hash node */    //用於添加到unbound_pool_hash中
    ...
} ____cacheline_aligned_in_smp;

2.6 pool_workqueue

  • pool_workqueue充當紐帶的作用，用於將workqueue和worker_pool關聯起來；

關鍵欄位描述如下：

struct pool_workqueue {
	struct worker_pool	*pool;		/* I: the associated pool */    //指向worker_pool
	struct workqueue_struct *wq;		/* I: the owning workqueue */   //指向所屬的workqueue

	int			nr_active;	/* L: nr of active works */     //活躍的work數量
	int			max_active;	/* L: max active works */   //活躍的最大work數量
	struct list_head	delayed_works;	/* L: delayed works */      //延遲執行的work掛入本鏈表
	struct list_head	pwqs_node;	/* WR: node on wq->pwqs */      //用於添加到workqueue鏈表中
	struct list_head	mayday_node;	/* MD: node on wq->maydays */   //用於添加到workqueue鏈表中
    ...
} __aligned(1 << WORK_STRUCT_FLAG_BITS);

2.7 小結

再來張圖，首尾呼應一下：

3. 流程分析

3.1 workqueue子系統初始化

  • workqueue子系統的初始化分成兩步來完成的：workqueue_init_early和workqueue_init。

3.1.1 workqueue_init_early

  • workqueue子系統早期初始化函數完成的主要工作包括：
    1. 創建pool_workqueue的SLAB緩存，用於動態分配struct pool_workqueue結構；
    2. 為每個CPU都分配兩個worker_pool，其中的nice值分別為0和HIGHPRI_NICE_LEVEL，並且為每個worker_pool從worker_pool_idr中分配一個ID號；
    3. 為unbound工作隊列創建預設屬性，struct workqueue_attrs屬性，主要描述內核線程的nice值，以及cpumask值，分別針對優先順序以及允許在哪些CPU上執行；
    4. 為系統預設創建幾個工作隊列，這幾個工作隊列的描述在上文的數據結構部分提及過，不再贅述；

從圖中可以看出創建工作隊列的介面為：alloc_workqueue，如下圖：

  • alloc_workqueue完成的主要工作包括：
    1. 首先當然是要分配一個struct workqueue_struct的數據結構，並且對該結構中的欄位進行初始化操作；
    2. 前文提到過workqueue最終需要和worker_pool關聯起來，而這個紐帶就是pool_workqueue，alloc_and_link_pwqs函數就是完成這個功能：1）如果工作隊列是綁定到CPU上的，則為每個CPU都分配pool_workqueue並且初始化，通過link_pwq將工作隊列與pool_workqueue建立連接；2）如果工作隊列不綁定到CPU上，則按記憶體節點（NUMA，參考之前記憶體管理的文章）來分配pool_workqueue，調用get_unbound_pool來實現，它會根據wq屬性先去查找，如果沒有找到相同的就創建一個新的pool_workqueue，並且添加到unbound_pool_hash哈希表中，最後也會調用link_pwq來建立連接；
    3. 創建工作隊列時，如果設置了WQ_MEM_RECLAIM標誌，則會新建rescuer worker，對應rescuer_thread內核線程。當記憶體緊張時，新創建worker可能會失敗，這時候由rescuer來處理這種情況；
    4. 最終將新建好的工作隊列添加到全局鏈表workqueues中；

3.1.2 workqueue_init

workqueue子系統第二階段的初始化：

  • 主要完成的工作是給之前創建好的worker_pool，添加一個初始的worker；
  • create_worker函數中，創建的內核線程名字為kworker/XX:YY或者kworker/uXX:YY，其中XX表示worker_pool的編號，YY表示worker的編號，u表示unbound；

workqueue子系統初始化完成後，基本就已經將數據結構的關聯建立好了，當有work來進行調度的時候，就可以進行處理了。

3.2 work調度

3.2.1 schedule_work

以schedule_work介面為例進行分析：

  • schedule_work預設是將work添加到系統的system_work工作隊列中；

  • queue_work_on介面中的操作判斷要添加work的標誌位，如果已經置位了WORK_STRUCT_PENDING_BIT，表明已經添加到了隊列中等待執行了，否則，需要調用__queue_work來進行添加。註意了，這個操作是在關中斷的情況下進行的，因為工作隊列使用WORK_STRUCT_PENDING_BIT位來同步work的插入和刪除操作，設置了這個比特後，然後才能執行work，這個過程可能被中斷或搶占打斷；

  • workqueue的標誌位設置了__WQ_DRAINING，表明工作隊列正在銷毀，所有的work都要處理完，此時不允許再將work添加到隊列中，有一種特殊情況：銷毀過程中，執行work時又觸發了新的work，也就是所謂的chained work；

  • 判斷workqueue的類型，如果是bound類型，根據CPU來獲取pool_workqueue，如果是unbound類型，通過node號來獲取pool_workqueue；

  • get_work_pool獲取上一次執行work的worker_pool，如果本次執行的worker_pool與上次執行的worker_pool不一致，且通過find_worker_executing_work判斷work正在某個worker_pool中的worker中執行，考慮到緩存熱度，放到該worker執行是更合理的選擇，進而根據該worker獲取到pool_workqueue；

  • 判斷pool_workqueue活躍的work數量，少於最大限值則將work加入到pool->worklist中，否則加入到pwq->delayed_works鏈表中，如果__need_more_worker判斷沒有worker在執行，則喚醒worker內核線程執行；

  • 總結：

    1. schedule_work完成的工作是將work添加到對應的鏈表中，而在添加的過程中，首先是需要確定pool_workqueue；
    2. pool_workqueue對應一個worker_pool，因此確定了pool_workqueue也就確定了worker_pool，進而可以將work添加到工作鏈表中；
    3. pool_workqueue的確定分為三種情況：1）bound類型的工作隊列，直接根據CPU號獲取；2）unbound類型的工作隊列，根據node號獲取，針對unbound類型工作隊列，pool_workqueue的釋放是非同步執行的，需要判斷refcnt的計數值，因此在獲取pool_workqueue時可能要多次retry；3）根據緩存熱度，優先選擇正在被執行的worker_pool；

3.2.2 worker_thread

work添加到工作隊列後，最終的執行在worker_thread函數中：

  • 在創建worker時，創建內核線程，執行函數為worker_thread；

  • worker_thread在開始執行時，設置標誌位PF_WQ_WORKER，調度器在進行調度處理時會對task進行判斷，針對workerqueue worker有特殊處理；

  • worker對應的內核線程，在沒有處理work的時候是睡眠狀態，當被喚醒的時候，跳轉到woke_up開始執行；

  • woke_up之後，如果此時worker是需要銷毀的，那就進行清理工作並返回。否則，離開IDLE狀態，併進入recheck模塊執行；

  • recheck部分，首先判斷是否需要更多的worker來處理，如果沒有任務處理，跳轉到sleep地方進行睡眠。有任務需要處理時，會判斷是否有空閑內核線程以及是否需要動態創建，再清除掉worker的標誌位，然後遍歷工作鏈表，對鏈表中的每個節點調用process_one_worker來處理；

  • sleep部分比較好理解，沒有任務處理時，worker進入空閑狀態，並將當前的內核線程設置成睡眠狀態，讓出CPU；

  • 總結：

    1. 管理worker_pool的內核線程池時，如果有PENDING狀態的work，並且發現沒有正在運行的工作線程(worker_pool->nr_running == 0)，喚醒空閑狀態的內核線程，或者動態創建內核線程；
    2. 如果work已經在同一個worker_pool的其他worker中執行，不再對該work進行處理；

work的執行函數為process_one_worker：

  • work可能在同一個CPU上不同的worker中運行，直接退出；
  • 調用worker->current_func()，完成最終work的回調函數執行；

3.3 worker動態管理

3.3.1 worker狀態機變換

  • worker_pool通過nr_running欄位來在不同的狀態機之間進行切換；
  • worker_pool中有work需要處理時，需要至少保證有一個運行狀態的worker，當nr_running大於1時，將多餘的worker進入IDLE狀態，沒有work需要處理時，所有的worker都會進入IDLE狀態；
  • 執行work時，如果回調函數阻塞運行，那麼會讓worker進入睡眠狀態，此時調度器會進行判斷是否需要喚醒另一個worker；
  • IDLE狀態的worker都存放在idle_list鏈表中，如果空閑時間超過了300秒，則會將其進行銷毀；
  1. Running->Suspend
  • 當worker進入睡眠狀態時，如果該worker_pool沒有其他的worker處於運行狀態，那麼是需要喚醒一個空閑的worker來維持併發處理的能力；
  1. Suspend->Running
  • 睡眠狀態可以通過wake_up_worker來進行喚醒處理，最終判斷如果該worker不在運行狀態，則增加worker_pool的nr_running值；

3.3.2 worker的動態添加和刪除

  1. 動態刪除
  • worker_pool初始化時，註冊了timer的回調函數，用於定時對空閑鏈表上的worker進行處理，如果worker太多，且空閑時間太長，超過了5分鐘，那麼就直接進行銷毀處理了；
  1. 動態添加
  • 內核線程執行worker_thread函數時，如果沒有空閑的worker，會調用manage_workers介面來創建更多的worker來處理工作；

參考

Documentation/core-api/workqueue.rst
http://kernel.meizu.com/linux-workqueue.html

洗洗睡了，收工！

歡迎關註公眾號，不定期分享Linux內核機制文章


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Linux下9種優秀的代碼比對工具推薦
    大家好，我是良許。 在我們編寫代碼的時候，我們經常需要知道兩個文件之間，或者同一個文件不同版本之間有什麼差異性。在 Windows 下有個很強大的工具叫作 BeyondCompare ，那在 Linux 下需要用到什麼工具呢？ 本文介紹 9 種 Linux 下常用的 9 種代碼比對工具，不僅有命令行 ...
  • C語言實現字元串的複製的兩種方法
    利用數組實現 1 #include<stdio.h> 2 #include<string.h> 3 4 void copy_string(char str1[],char str2[]) 5 { 6 int i = 0; 7 while(str2[i] != '\0') 8 { 9 str1[i] ...
  • 原子性操作原理分析
    1. 概念 原子操作是指不被打斷的操作，即它是最小的執行單位。最簡單的原子操作就是一條條的彙編指令(不包括一些偽指令，偽指令會被彙編器解釋成多條彙編指令)。在 linux 中原子操作對應的數據結構為 atomic_t，定義如下： typedef struct { int counter; } ato ...
  • NAS 共用訪問協議 — NFS、SMB、FTP、WebDAV 各有何優勢？
    隨著智能化互聯時代的來臨，家中的智能設備越來越多：電視機、平板、游戲主機、電腦、手機等遍及家中各個角落，同時設備之間共用數據的需求變的越來越強烈。比如同步、備份手機上的照片和視頻，在電視機上觀看電腦中下載的影片、手機拍攝的視頻，存儲高清電影、音樂、VLOG 素材等。這時候在家中搭建一臺 NAS（Ne ...
  • 伙伴系統的概述
    Linux內核記憶體管理的一項重要工作就是如何在頻繁申請釋放記憶體的情況下，避免碎片的產生。Linux採用伙伴系統解決外部碎片的問題，採用slab解決內部碎片的問題，在這裡我們先討論外部碎片問題。避免外部碎片的方法有兩種：一種是之前介紹過的利用非連續記憶體的分配；另外一種則是用一種有效的方法來監視記憶體，保 ...
  • Unix 時間戳；時間戳獲取和生成
    Unix時間戳(Unix timestamp)，或稱Unix時間(Unix time)、POSIX時間(POSIX time)，是一種時間表示方式，定義為從格林威治時間1970年01月01日00時00分00秒起至現在的總秒數。 Unix時間戳不僅被使用在Unix 系統、類Unix系統中，也在許多其他 ...
  • 靜態SDRAM和動態SDRAM的區別
    SDRAM有一個同步介面，在響應控制輸入前會等待一個時鐘信號，這樣就能和電腦的系統匯流排同步。時鐘被用來驅動一個有限狀態機，對進入的指令進行管線(Pipeline)操作。這使得SDRAM與沒有同步介面的非同步DRAM相比，可以有一個更複雜的操作模式。下麵宇芯電子介紹關於靜態SDRAM和動態SDRAM的 ...
  • Win-Navicat Premium 15 Window安裝激活教程（學習研究）
    原文鏈接：https://www.jianshu.com/p/b29f2762d202 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類