詳解GaussDB(DWS)的query_band負載識別與應用

摘要：query_band是一個會話級別（session）的GUC參數，本身是字元串類型，支持任意形式字元組合。本文分享自華為雲社區《GaussDB(DWS)的query_band負載識別與應用》，作者：門前一棵葡萄樹。 query_band概述 GaussDB(DWS)實現了基於query_ba ...

摘要：query_band是一個會話級別（session）的GUC參數，本身是字元串類型，支持任意形式字元組合。

本文分享自華為雲社區《GaussDB(DWS)的query_band負載識別與應用》，作者：門前一棵葡萄樹。

query_band概述

GaussDB(DWS)實現了基於query_band的負載識別和優先順序調度，一方面提供了更為靈活的負載識別手段，不再局限於依據“用戶-資源池”的映射關係將作業路由至對應資源池，提供了“鍵值對-資源池”的路由方式；另一方面實現了作業優先順序調度，出現排隊時按照優先順序調度作業。

管理員用戶可根據業務場景及作業類別配置query_band關聯的資源池和優先順序等實現更為靈活的負載管理。如果業務未配置query_band或用戶未將query_band關聯行為時，作業會預設使用用戶關聯的資源池和預設優先順序(Medium)。

query_band是什麼？

query_band是一個會話級別（session）的GUC參數，本身是字元串類型，支持任意形式字元組合。query_band用於負載識別時，為了便於區分、解決無意義字元串難以理解的問題，僅支持識別鍵值對形式的字元串。query_band鍵值對有以下限制：

僅支持識別鍵值對形式的字元串，即：“key=value”；
有效字元：數字0~9、大寫字母A~Z、小寫字母a~z以及部分符號（‘.’、‘-’、‘_’ 以及‘#’）；
單個鍵值對最大長度1024；
支持多個鍵值對組合，鍵值對之間使用分號分隔；
示例：SET query_band = ‘JobName=abc;AppName=test;ApplicationName=jdbc’。

query_band負載識別

GaussDB(DWS)提供的資源管理功能，從資源池維度實現了資源隔離管控和查詢調度，藉此實現了不同業務間的資源隔離。資源池作為資源管控和查詢調度的基本單位，查詢運行前需要確定使用哪個資源池，在查詢調度和查詢運行過程中使用該資源池資源（計算資源/併發等）。

查詢是由用戶發起運行的，而且一般情況下用戶都是按業務劃分的，因此理所當然地就想到將用戶和資源池關聯起來，以此實現用戶的查詢在對應資源池運行的效果。GaussDB(DWS)提供了用戶-資源池關聯的能力，預設情況下用戶關聯預設資源池，可根據業務需求創建自定義資源，並將用戶關聯至自定義資源池，用戶查詢依據“用戶-資源池”的關聯關係將查詢路由至對應資源池執行，以此實現對查詢併發、記憶體及CPU資源的管控。從而實現對不同業務之間的資源限制和隔離，滿足資料庫混合負載需求，保證查詢執行時資源調度的有序可控。

“用戶-資源池”提供的用戶和資源池的關聯關係，對於用戶和業務混合交叉（多個用戶均對應多個業務）的場景就不適用了。此外一個資源池內不同用戶的作業可能有不同優先順序，此時就需要給不同用戶或業務配置不同優先順序，實現優先順序調度。因此就需要提供一種能力，一方面不再局限於“用戶-資源池”的關聯方式，一方面還可以實現資源池內的優先順序調度。這種情況下，query_band負載識別應運而生。

query_band負載識別提供了兩方面能力：

一方面提供了更為靈活的負載識別手段，不再局限於依據“用戶-資源池”的映射關係將作業路由至對應資源池，提供了“鍵值對-資源池”的路由方式；
另一方面實現了優先順序調度，支持為不同用戶或業務設置不同的優先順序，實現資源池內的優先順序調度。

query_band功能實現

工作原理

query_band負載識別以鍵值對為單位，用戶使用的鍵值對可能有很多，但實際上關聯負載行為的鍵值對只有很少的一部分，為方便後續理解，這裡按是否關聯負載行為，將鍵值對分為有效鍵值對和無效鍵值對：

有效鍵值對：有關聯負載行為；

無效鍵值對：未關聯任何負載行為。

會話內設置的query_band可能包含多個鍵值對，不同場景下可能要使用不同的鍵值對進行負載識別，以實現負載控制（分時/分天）。當query_band內包含唯一有效鍵值對時，使用該鍵值對進行負載識別；當query_band內包含多個有效鍵值對時，按以下規則選擇有效鍵值對進行負載識別：

鍵值對匹配順序不同時，優先選擇匹配序號最小的鍵值對進行負載識別；
所有鍵值對匹配順序相同時，按照先後順序選擇靠前的鍵值對進行負載識別

示例：假設set query_band='b=1;a=3;c=1'中所有鍵值對匹配順序都一樣，則選擇b=1進行負載識別；假設set query_band=‘b=1;a=3;c=1’ ，其中b=1順序為-1，a=3順序為4，c=1順序為1，則選擇c=1進行負載識別。

識別能力

管理員用戶根據業務場景和負載變化，調整業務（不同業務對應不同query_band鍵值對）使用的資源池和調度優先順序。業務運行過程中負載識別與query_band工作機制如下：

會話內設置query_band，示例：SET query_band='JobName=abc;UserName=elk'；
負載管理模塊解析query_band，判斷其中是否包含有效鍵值對；
query_band內不包含有效鍵值對，則使用"用戶-資源池"的方式將作業路由至對應資源池運行，同時設置作業優先順序為Medium；
query_band內包含有效鍵值對，則使用“鍵值對-資源池”的方式將作業路由至對應資源池運行，同時設置作業優先順序為鍵值對關聯優先順序；
作業在對應資源池，按照設置的優先順序進行排隊，等待查詢調度。

優先順序調度

query_band支持高中低(High/Medium/Low)三個優先順序，同時提供Rush作為特殊優先順序（綠色通道），預設優先順序為Medium。實踐過程中，建議大部分作業使用Medium優先順序，優先順序較低作業使用Low優先順序，特權作業使用High優先順序，High作業不建議過多。Rush優先順序作為特殊場景下應急使用，平時不建議使用。

調度時優先調度高優作業，高優作業全部調度完才調度低優作業，GaussDB(DWS)包含多個優先順序隊列。除動態負載管理場景下，CN全局併發控制隊列不支持優先順序調度外，以下隊列均支持優先順序調度（按優先順序順序調度）：

靜態負載管理場景下，CN全局併發控制隊列；
動態負載管理場景下，CCN全局記憶體管控隊列；
資源池併發控制和記憶體管控隊列。（動態靜態均支持）

作業運行過程中可通過pgxc_session_wlmstat/pg_session_wlmstat視圖查詢作業優先順序，視圖中優先順序顯示為INT類型，數字和優先順序對應關係如下：

query_band對外介面

gs_wlm_set_queryband_action

提供FUNCTION：gs_wlm_set_queryband_action(query_band cstring, action cstring, order int4)用於設置query_band負載行為，函數返回值類型為bool，表示函數調用是否成功，包含三個入參，含義如下：

query_band：query_band鍵值對
action：負載行為
order：匹配順序（序號），預設參數，預設值-1

應用示例：設置query_band鍵值對“UserName=elk”關聯資源池p1、優先順序Rush、匹配順序為1。

SELECT * FROM gs_wlm_set_queryband_action('UserName=elk','respool=p1;priority=rush',1);

gs_wlm_set_queryband_order

提供FUNCTION：gs_wlm_set_queryband_order(query_band cstring, order int4)用於修改query_band匹配順序，函數返回值類型為bool，表示函數調用是否成功，包含兩個入參，含義如下：

query_band：query_band鍵值對
order：匹配順序（序號），預設參數，預設值-1

除-1外，不允許兩個query_band鍵值對使用相同匹配順序，設置query_band鍵值對匹配順序時，如果存在query_band持有該匹配順序，則其順序自動+1，重覆上述步驟直至無相同匹配順序的query_band鍵值對存在。匹配順序中-1最大，代表匹配優先順序最低，最小值為0，代表匹配優先順序最高。

應用示例：假設query_band鍵值對“UserName=elk”的匹配順序為1，“UserName=bin”的匹配順序為2，“UserName=yagao”的匹配順序為3，此時設置query_band鍵值對“UserName=on”匹配順序為1。

SELECT * FROM gs_wlm_set_queryband_order('UserName=on',1);

設置完成後，query_band鍵值對匹配順序如下：

系統表pg_workload_action

query_band支持多種負載行為，使用系統表pg_workload_action存儲不同query_band鍵值對對應的負載行為。為了後續擴展性（新增負載行為不需要新增欄位），系統表設計採用一行對應一個負載行為的方式存儲，當一個query_band鍵值對關聯多個負載行為時，每個負載行為存儲一行數據。系統表包含四個欄位：

qband：鍵值對
class：負載行為類別
object：負載行為名稱
action：關聯的負載行為

query_band目前支持以下負載行為，其中query_band鍵值對的匹配順序（序號）也作為一種負載行為存儲在系統表中。

備註：預設值不需要存儲在系統表中；資源池保存的是OID。

示例：假設已經設置query_band鍵值對“UserName=elk”關聯資源池p1、優先順序Rush、匹配順序為1；“UserName=on”關聯資源池p1、優先順序Medium、匹配順序為-1。查詢pg_workload_action結果如下：

postgres=# select * from pg_workload_action order by 1,2;
 qband | classname | objname | action
--------------+-----------+----------+--------
 UserName=elk | order | respool  | 1
 UserName=elk | workload  | respool  | 16722
 UserName=elk | workload  | priority | rush
 UserName=on | workload  | respool  | 16722
(4 rows)

pg_queryband_action視圖

pg_workload_action系統表用於存儲query_band鍵值對負載行為，查詢query_band行為可以直接查詢該表，但是隨著每一個負載行為顯示一行的方式易用性較差，因此我們提供了pg_queryband_action用於查詢所有query_band鍵值對的負載行為，每一行對應一個鍵值對的所有負載行為。

示例：假設已經設置query_band鍵值對“UserName=elk”關聯資源池p1、優先順序Rush、匹配順序為1；“UserName=on”關聯資源池p1、優先順序Medium、匹配順序為-1。查詢pg_queryband_action結果如下：

postgres=# select * from pg_queryband_action;
 qband | respool_id | respool | priority | qborder
--------------+------------+---------+----------+---------
 UserName=on | 16722 | p1      | Medium   | -1
 UserName=elk | 16722 | p1      | rush     | 1
(2 rows)

query_band應用

基礎應用

創建資源池respool_1，並創建用戶user_1關聯資源池respool_1、respool_2。不設置query_band負載行為場景下，使用user_1用戶運行作業，此時user_1作業全部路由至respool_1運行，優先順序為Medium。

設置query_band鍵值對"JobName=elk"的負載行為為關聯資源池respool_2，優先順序為Medium；設置query_band鍵值對"JobName=on"的負載行為為優先順序High。user_1用戶分別設置不同的query_band運行作業，不同作業運行方式、關聯資源池及作業優先順序如下表所示：

擴展應用（用戶優先順序調度）

創建資源池respool_1，並創建用戶user_1、user_2、user_3關聯資源池respool_1。不設置query_band負載行為場景下，使用user_1、user_2和user_3用戶運行作業，此時user_1、user_2和user_3作業全部路由至respool_1運行，優先順序均為Medium。

設置query_band鍵值對"UserName=elk"的優先順序為High；設置query_band鍵值對"UserName=on"的優先順序為Low。

備註：“UserName=elk”、“UserName=on”只用於用戶標識，沒有特殊含義，用戶可按需配置。

按以下方式設置用戶預設query_band：

ALTER USER user_2 SET query_band='UserName=elk';
ALTER USER user_3 SET query_band='UserName=on';

會話內不單獨設置query_band，使用user_1、user_2和user_3用戶運行作業，此時user_1作業優先順序為Medium（預設優先順序），user_2作業優先順序為High（對應鍵值對“UserName=elk”），user_3作業優先順序為Low（對應鍵值對“UserName=on”）。

此外，用戶還可設置包含多個鍵值對的query_band，在不同場景下（或不同時間段），按照不同鍵值對進行負載識別，實現更為靈活的負載控制，這裡就不再贅述了。

點擊關註，第一時間瞭解華為雲新鮮技術~