聊聊分散式 SQL 資料庫Doris(六)

負載均衡此處的負載均衡指的是FE層的負載均衡. 當部署多個 FE 節點時，用戶可以在多個 FE 之上部署負載均衡層來實現 Doris 的高可用。官方文檔描述: 負載均衡。實現方式實現方式有多種，如下列舉。開發者在應用層自己進行重試與負載均衡。 JDBC Connector 發現一個連接掛掉 ...

負載均衡

此處的負載均衡指的是FE層的負載均衡.

當部署多個 FE 節點時，用戶可以在多個 FE 之上部署負載均衡層來實現 Doris 的高可用。官方文檔描述: 負載均衡。

實現方式

實現方式有多種，如下列舉。

開發者在應用層自己進行重試與負載均衡。

JDBC Connector

發現一個連接掛掉，就自動在其他連接上進行重試。應用層代碼重試需要應用自己配置多個 doris 前端節點地址。

通過 JDBC Connector實現自動重試與均衡負載:

jdbc:mysql:loadbalance://[host:port],[host:port].../[database][?propertyName1][=propertyValue1][&propertyName2][=propertyValue

Proxy SQL

架設一層代理，通過ProxySQL代理層實現負載。

Nginx 反向代理

通過網關反向代理實現負載。

數據傾斜

由於數據在分區或分桶或者是源數據端的數據存儲就不均勻，因此在導入到Doris中分佈不均勻，導致Doris的性能和穩定性不好。

原因

Doris出現數據傾斜的原因有多種，其中一些常見的原因包括：

數據分佈不均勻：某些列的取值範圍過大或過小，導致數據在分區或分桶時分佈不均勻。這可能是由於業務邏輯、數據源分佈或其他因素導致的。
集群負載不均衡：如果Doris集群中的節點性能存在差異，可能會導致數據傾斜。例如，某些節點的計算能力或存儲容量比其他節點低，這可能會導致數據集中到這些節點上。
數據導入不均勻：在數據導入過程中，如果沒有均衡地分配數據到各個實例或分區，可能會導致數據傾斜。例如，某些實例或分區導入的數據量比其他實例或分區多，這可能會導致數據集中到這些實例或分區上。
熱點數據訪問：如果某些數據被頻繁地訪問或更新，可能會導致這些數據集中到某些節點上，從而引起數據傾斜。

解決

為瞭解決Doris的數據傾斜問題，可以嘗試以下方法：

合理設計表結構：在創建表時，應該儘量避免使用取值範圍過大的列作為分區鍵或分桶列。如果必須使用這類列，可以考慮使用複合分區或哈希分佈來均勻地分佈數據。
調整數據傾斜列的取值範圍：如果某些列的取值範圍過大或過小，可以考慮將它們的數據分佈調整到更合理的範圍內。這可以通過數據清洗、數據變換或數據分箱等方式實現。
使用動態分區：Doris支持動態分區功能，可以根據需要自動調整分區數量和分桶數量。通過合理設置動態分區的參數，可以使得數據更加均勻地分佈在各個分區中。
使用虛擬列：Doris支持虛擬列功能，可以根據需要自動計算並存儲一些列的值。通過合理設置虛擬列的表達式和存儲方式，可以使得數據更加均勻地分佈在各個分區中。
調整Doris參數設置：Doris的一些參數設置可能會影響數據傾斜問題的處理效果。例如，可以通過調整副本數量、併發寫入數量等參數來優化Doris的性能和穩定性。
避免單個節點負載過高：在部署Doris集群時，應該避免將大量數據集中到單個節點上。可以通過調整副本數量、分區策略等方式來均衡地分佈數據到各個節點上。
使用負載均衡技術：可以使用負載均衡技術來將數據訪問請求分佈到各個節點上，從而避免單個節點負載過高的問題。這可以通過使用負載均衡器、DNS輪詢等技術來實現。

高併發點查

點查: 是指通過等值條件（例如 WHERE 子句中的等值條件）來查詢單個行或單個數據點的查詢操作。點查詢通常用於檢索具有特定鍵值的行或數據，其特點是通過提供唯一的主鍵值或唯一索引值來定位並返回一行數據/單個數據點。

在高併發服務場景中，如果用戶希望從系統中獲取整行數據，對於列存格式引擎，在表寬時，列存格式將大大放大隨機讀取IO，這就會導致讀取性能降低；其次，FE層是對外提供的是訪問服務，同時會分析、解析SQL，也可能會導致高併發查詢時的高CPU開銷。為瞭解決性能問題，引入了行存、短查詢路徑、PreparedStatement解決。官方文檔描述: 高併發點查。

行存

僅僅支持在建表時開啟行存模式，但需要額外的空間來存儲行存數據。實現邏輯是將行存編碼後存在單獨的一列中，用於簡化行存的實現。在create的property中指定屬性:

"store_row_column = "true"

行存（Row Storage）

存儲方式：行存以行為單位存儲數據，即將每一行的數據存儲在一起。

特點：每一行的所有列數據都存儲在相鄰的位置，形成一個數據塊。這種存儲方式對於整行的讀寫操作是高效的，適合於 OLTP（線上事務處理）場景，其中通常需要快速地執行對單個行的操作。

適用場景：適用於需要頻繁進行整行讀寫的場景，如交易處理系統等。

列存（Column Storage）

存儲方式：列存以列為單位存儲數據，即將同一列的數據存儲在一起。

特點：每一列的所有行數據都存儲在相鄰的位置，形成一個數據塊。這種存儲方式對於聚合操作和分析查詢是高效的，因為查詢通常只涉及到部分列的數據。列存適用於 OLAP（線上分析處理）場景，其中通常需要執行複雜的分析查詢。

適用場景：適用於需要進行大規模數據分析和聚合查詢的場景，如數據倉庫和數據分析平臺等。

由於列存儲是按列存儲的，獲取整行數據需要從不同列的數據塊中進行隨機讀取，增加了磁碟I/0操作的次數；如果列寬度較大，那麼需要讀取的數據塊數量就會增加，導致隨機讀取的開銷放大；同時較大的列寬導致單個記錄的大小較大，需要傳輸更多的數據量到查詢引擎。這會增加網路傳輸的開銷，尤其是在分散式系統中，如果數據分佈在多個節點上，點查詢可能需要從多個節點傳輸數據。

Unique 模型下的點查優化

Unique模型支持寫入時合併(Merge-On-Write)策略，當開啟該策略結合行存時，對於主鍵的點查會走短路徑對SQL執行優化，僅需執行一次RPC查詢即可完成。如下示例:

CREATE TABLE `tbl_point_query` (
    `key` int(11) NULL,
    `v1` decimal(27, 9) NULL,
    `v2` varchar(30) NULL,
    `v3` varchar(30) NULL,
    `v4` date NULL,
    `v5` datetime NULL,
    `v6` float NULL,
    `v7` datev2 NULL
) ENGINE=OLAP
UNIQUE KEY(`key`)
COMMENT 'OLAP'
DISTRIBUTED BY HASH(`key`) BUCKETS 1
PROPERTIES (
    "replication_allocation" = "tag.location.default: 1",
    "enable_unique_key_merge_on_write" = "true",
    "light_schema_change" = "true",
    "store_row_column" = "true"
);

註意:

enable_unique_key_merge_on_write應該被開啟，存儲引擎需要根據主鍵來快速點查
當條件只包含主鍵時，如select * from tbl_point_query where key = 123，類似的查詢會走短路徑來優化查詢
light_schema_change應該被開啟，因為主鍵點查的優化依賴了輕量級 Schema Change 中的column unique id來定位列
只支持單表key列等值查詢不支持join、嵌套子查詢， where條件里需要有且僅有key列的等值，可以認為是一種key value查詢

PreparedStatement

Doris在FE層提供了與MySQL協議相容的PreparedStatement特性(目前只支持主鍵點查)。當PreparedStatement開啟時，SQL與其表達式將被提前計算並緩存到Session級別的記憶體緩存中，後續的查詢直接使用緩存對象即可。

示例:

設置JDBC url併在Server端開啟prepared statement

url = jdbc:mysql://127.0.0.1:9030/ycsb?useServerPrepStmts=true

使用 PreparedStatement

// use `?` for placement holders, readStatement should be reused
PreparedStatement readStatement = conn.prepareStatement("select * from tbl_point_query where key = ?");
...
readStatement.setInt(1234);
ResultSet resultSet = readStatement.executeQuery();
...
readStatement.setInt(1235);
resultSet = readStatement.executeQuery();
...

PreparedStatement 支持使用占位符參數（如?）來表示 SQL 語句中的變數部分。在執行語句之前，可以通過設置參數的方式為占位符提供實際的數值。這有助於防止 SQL 註入攻擊，並提高安全性。

開啟行緩存

對於前面提到的行存，一行里包括了多列數據，Doris預設支持的列緩存可能被大查詢給刷掉，為了增加行緩存命中率，單獨引入了行存緩存，行緩存復用了 Doris 中的 LRU Cache 機制來保障記憶體的使用，通過指定下麵的的BE配置來開啟

disable_storage_row_cache是否開啟行緩存，預設不開啟。
row_cache_mem_limit指定 Row cache 占用記憶體的百分比，預設 20% 記憶體。