ClickHouse與Elasticsearch壓測實踐

来源:https://www.cnblogs.com/Jcloud/archive/2022/08/29/16635096.html
-Advertisement-
Play Games

ClickHouse 是一個真正的列式資料庫管理系統（DBMS)。在 ClickHouse 中，數據始終是按列存儲的，包括矢量（向量或列塊）執行的過程。只要有可能，操作都是基於矢量進行分派的，而不是單個的值，這被稱為«矢量化查詢執行»，它有利於降低實際的數據處理開銷。 ...


1 需求分析

1.1 分析壓測對象

1）什麼是ClickHouse 和Elasticsearch

ClickHouse 是一個真正的列式資料庫管理系統（DBMS)。在 ClickHouse 中，數據始終是按列存儲的，包括矢量（向量或列塊）執行的過程。只要有可能，操作都是基於矢量進行分派的，而不是單個的值，這被稱為«矢量化查詢執行»，它有利於降低實際的數據處理開銷。

Elasticsearch是一個開源的分散式、RESTful 風格的搜索和數據分析引擎，它的底層是開源庫Apache Lucene。 它可以被這樣準確地形容：

  • 一個分散式的實時文檔存儲，每個欄位可以被索引與搜索
  • 一個分散式實時分析搜索引擎
  • 能勝任上百個服務節點的擴展，並支持 PB 級別的結構化或者非結構化數據
2）為什麼要對他們進行壓測

眾所周知，ClickHouse在基本場景表現非常優秀，性能優於ES，但是我們實際的業務查詢中有很多是複雜的業務查詢場景，甚至是大數量的查詢，所以為了在雙十一業務峰值來到前，確保大促活動峰值業務穩定性，針對ClickHouse 和Elasticsearch在我們實際業務場景中是否擁有優秀的抗壓能力，通過這次性能壓測，探測系統中的性能瓶頸點，進行針對性優化，從而提升系統性能。

1.2 制定壓測目標

為什麼會選擇這個（queryOBBacklogData）介面呢？

1）從複雜度來看，介面（queryOBBacklogData）查詢了5次，代碼如下：
/**
* 切ck-queryOBBacklogData
* @param queryBO
* @return
*/
public OutboundBacklogRespBO queryOBBacklogDataCKNew(OutboundBacklogQueryBO queryBO) {
log.info(" queryOBBacklogDataCK入參：{}", JSON.toJSONString(queryBO));
// 公共條件-卡最近十天時間
String commonStartTime = DateUtils.getTime(DateUtil.format(new Date(), DateUtil.FORMAT_DATE), DateUtils.ELEVEN_AM, 1, -10);
String commonEndTime = DateUtils.getTime(DateUtil.format(new Date(), DateUtil.FORMAT_DATE), DateUtils.ELEVEN_AM, 1, 1);
// 越庫信息-待越庫件數&待越庫任務數
WmsObCrossDockQueryBo wmsObCrossDockQueryBo = wmsObCrossDockQueryBoBuilder(queryBO,commonStartTime, commonEndTime);
log.info("queryOBBacklogDataCK-wmsObCrossDockQueryBo: {}", JSON.toJSONString(wmsObCrossDockQueryBo));
CompletableFuture<OutboundBacklogRespBO> preCrossDockInfoCF = CompletableFuture.supplyAsync(
() -> wmsObCrossDockMapper.preCrossDockInfo(wmsObCrossDockQueryBo), executor);
// 集合任務信息-待分配訂單
WmsObAssignOrderQueryBo wmsObAssignOrderQueryBo = wmsObAssignOrderQueryBoBuilder(queryBO, commonStartTime, commonEndTime);
log.info("queryOBBacklogDataCK-wmsObAssignOrderQueryBo: {}", JSON.toJSONString(wmsObAssignOrderQueryBo));
CompletableFuture<Integer> preAssignOrderQtyCF = CompletableFuture.supplyAsync(
() -> wmsObAssignOrderMapper.preAssignOrderInfo(wmsObAssignOrderQueryBo), executor);
// 揀貨信息-待揀貨件數&待揀貨任務數
WmsPickTaskQueryBo wmsPickTaskQueryBo = wmsPickTaskQueryBoBuilder(queryBO, commonStartTime, commonEndTime);
log.info("queryOBBacklogDataCK-wmsPickTaskQueryBo: {}", JSON.toJSONString(wmsPickTaskQueryBo));
CompletableFuture<OutboundBacklogRespBO> prePickingInfoCF = CompletableFuture.supplyAsync(
() -> wmsPickTaskMapper.pickTaskInfo(wmsPickTaskQueryBo), executor);
// 分播信息-待分播件數&待分播任務
WmsCheckTaskDetailQueryBo wmsCheckTaskDetailQueryBo = wmsCheckTaskDetailQueryBoBuilder(queryBO, commonStartTime, commonEndTime);
log.info("queryOBBacklogDataCK-wmsCheckTaskDetailQueryBo: {}", JSON.toJSONString(wmsCheckTaskDetailQueryBo));
CompletableFuture<OutboundBacklogRespBO> preSowInfoCF = CompletableFuture.supplyAsync(
() -> wmsCheckTaskDetailMapper.checkTaskDetailInfo(wmsCheckTaskDetailQueryBo), executor);
// 發貨信息-待發貨件數
WmsOrderSkuQueryBo wmsOrderSkuQueryBo = wmsOrderSkuQueryBoBuilder(queryBO, commonStartTime, commonEndTime);
log.info("queryOBBacklogDataCK-wmsOrderSkuQueryBo: {}", JSON.toJSONString(wmsOrderSkuQueryBo));
CompletableFuture<Integer> preDispatchCF = CompletableFuture.supplyAsync(
() -> wmsOrderSkuMapper.preDispatchInfo(wmsOrderSkuQueryBo), executor);
return processResult(preCrossDockInfoCF, preAssignOrderQtyCF, prePickingInfoCF, preSowInfoCF, preDispatchCF);
}

　　

2）介面（queryOBBacklogData），總共查詢了5個表，如下：
wms.wms_ob_cross_dock
wms.wms_ob_assign_order
wms.wms_picking_task.
wms.wms_check_task_detail
wms.wms_order_sku

 

3）查詢的數據量，如下：
select
(ifnull(sum(m.shouldBeCrossedDockQty),
0) -
ifnull(sum(m.satisfiedCrossedDockQty),
0)) as preCrossStockSkuQty,
count(m.docId) as preCrossStockTaskQty
from
wms.wms_ob_cross_dock m final
prewhere
m.createTime >= '2021-12-03 11:00:00'
and m.createTime <= '2021-12-14 11:00:00'
and m.warehouseNo = '279_1'
and m.orderType = '10'
and tenantCode = 'TC90230202'
where
m.deleted = 0
and m.deliveryDestination = '2'
and m.shipmentOrderDeleted = 0
and m.status = 0

 

從上面SQL截圖可以看出，查詢待越庫件數&待越庫任務數，共讀了720817行數據

select count(distinct m.orderNo) as preAssignedOrderQty
from wms.wms_ob_assign_order m final
prewhere
m.createTime >= '2021-12-03 11:00:00'
and m.createTime <= '2021-12-14 11:00:00'
and m.warehouseNo = '361_0'
and tenantCode = 'TC90230202'
where m.taskassignStatus = 0
and m.deliveryDestination = 2
and m.stopProductionFlag = 0
and m.deleted = 0
and m.orderType = 10

 

從上面SQL截圖可以看出，查詢集合任務信息-待分配訂單，共讀了153118行數據

select minus(toInt32(ifnull(sum(m.locateQty), toDecimal64(0, 4))),
toInt32(ifnull(sum(m.pickedQty), toDecimal64(0, 4)))) as prePickingSkuQty,
count(distinct m.taskNo) as prePickingTaskQty
from wms.wms_picking_task m final
prewhere
m.shipmentOrderCreateTime >= '2021-12-03 11:00:00'
and m.shipmentOrderCreateTime <= '2021-12-14 11:00:00'
and m.warehouseNo = '286_1'
and tenantCode = 'TC90230202'
where m.pickingTaskDeleted = 0
and m.deliveryDestination = 2
and m.pickLocalDetailDeleted = 0
and m.shipmentOrderDeleted = 0
and m.orderType = 10
and (m.operateStatus = 0 or m.operateStatus = 1)

 

從上面SQL截圖可以看出，查詢揀貨信息-待揀貨件數&待揀貨任務數，共讀了2673536行數據

select minus(toInt32(ifnull(sum(m.locateQty), toDecimal64(0, 4))),
toInt32(ifnull(sum(m.pickedQty), toDecimal64(0, 4)))) as prePickingSkuQty,
count(distinct m.taskNo) as prePickingTaskQty
from wms.wms_picking_task m final
prewhere
m.shipmentOrderCreateTime >= '2021-12-03 11:00:00'
and m.shipmentOrderCreateTime <= '2021-12-14 11:00:00'
and m.warehouseNo = '279_1'
and tenantCode = 'TC90230202'
where m.pickingTaskDeleted = 0
and m.deliveryDestination = 2
and m.pickLocalDetailDeleted = 0
and m.shipmentOrderDeleted = 0
and m.orderType = 10
and (m.operateStatus = 0 or m.operateStatus = 1)

 

從上面SQL截圖可以看出，查詢分播信息-待分播件數&待分播任務，共讀了1448149行數據

select ifnull(sum(m.unTrackQty), 0) as unTrackQty
from wms.wms_order_sku m final
prewhere
m.shipmentOrderCreateTime >= '2021-12-03 11:00:00'
and m.shipmentOrderCreateTime <= '2021-12-14 11:00:00'
and m.warehouseNo = '280_1'
and m.orderType = '10'
and m.deliveryDestination = '2'
and tenantCode = 'TC90230202'
where m.shipmentOrderDeleted <> '1'
and m.ckDeliveryTaskDeleted <> '1'
and m.ckDeliveryTaskDetailDeleted <> '1'
and m.ckDeliveryTaskStatus in ('1','0','2')

 

從上面SQL截圖可以看出，查詢發貨信息-待發貨件數，共讀了99591行數據

2 測試環境準備

為了儘可能發揮性能壓測作用，性能壓測環境應當儘可能同線上環境一致，所以我們使用了和線上一樣的環境

3 採集工具準備

監控工具
  1. http://origin.jd.com/ ：監控JVM，方法級別監控（提供秒級支持）
  2. http://console.jex.jd.com/ ：提供異常堆棧監控，火焰圖監控、線程堆棧分析
  3. http://x.devops.jdcloud.com/ ：支持查看clickhouse/Elasticsearch資料庫服務每個節點的cpu使用率
  4. http://dashboard.fireeye.jdl.cn/ ：監測應用伺服器cpu使用率、記憶體使用率

4 壓測執行及結果分析

4.1 編寫壓測腳本工具

Forcebot（http://forcebot.jd.com） 是專門為開發人員、測試人員提供的性能測試平臺，通過編寫腳本、配置監控、設置場景、啟動任務、實時監控、日誌定位、導出報告一系列操作流程來完成性能測試，靈活的腳本配置滿足同步、非同步、集合點等多種發壓模式。

幫助文檔（http://doc.jd.com/forcebot/helper/）

4.2 設計壓測數據

4.2.1 前期壓測中名詞解釋
  • DBCP：資料庫連接池，是 apache 上的一個Java連接池項目。DBCP通過連接池預先同資料庫建立一些連接放在記憶體中(即連接池中)，應用程式需要建立資料庫連接時直接到從接池中申請一個連接使用，用完後由連接池回收該連接，從而達到連接復用，減少資源消耗的目的。
  • maxTotal：是連接池中總連接的最大數量，預設值8
  • max_thread：clickhouse中底層配置，處理SQL請求時使用的最大線程數。預設值是clickhouse伺服器的核心數量。
  • coordinating：協調節點數，主要作用於請求轉發，請求響應處理等輕量級操作
  • 數據節點：主要是存儲索引數據的節點，主要對文檔進行增刪改查操作，聚合操作等。數據節點對cpu，記憶體，io要求較高， 在優化的時候需要監控數據節點的狀態，當資源不夠的時候，需要在集群中添加新的節點
4.2.2 壓測數據

clickhouse數據服務：32C128G6節點2副本
應用伺服器：4核8G2
maxTotal=16

註：每次壓測前，一定要觀察每個數據節點的cpu使用率

註：從上面壓測過程中，序號6-12可以看出，併發用戶數在增加，但tps沒有幅度變化，檢查發現bigdata dbcp資料庫鏈接池最大線程數未配置，預設最大線程數是8，併發用戶數增加至8以後，clickhouse cpu穩定在40%~50%之間不再增加，應用伺服器CPU穩定在25%左右。

之後我們調整maxTotal=50，通過調整max_thread不同的值，資料庫節點CPU使用率保持在50%左右，來查看相應的監測數據指標：應用服務CPU使用率、TPS、TP99、併發用戶數。

clickhouse數據節點，CPU使用率：

Elasticsearch數據服務：32C128G6節點2副本
應用伺服器：4核8G2
Elasticsearch同樣保持資料庫服務CPU使用率達到（50%左右），再監控數據指標tps、tp99
調整指標如下：coordinating協調節點數、 數據節點、poolSize

指標1：coordinating=2，數據節點=4，poolSize=400

註：在壓測的過程中發現，coordinating節點的cpu使用率達到51.69%，負載均衡的作用受限，所以協調節點需擴容2個節點

指標2：coordinating=4，數據節點=5，poolSize=800

註：在壓測的過程中，發現CPU使用率（資料庫）ES數據節點在40%左右的時候，一直上不去，查看日誌發現activeCount已經達到797，需要增加poolSize值

指標3：coordinating=4，數據節點=5，poolSize=1200

註：壓測過程中，發現coordinating協調節點還是需要擴容，不能支持現在數據節點cpu使用率達到50%
Elasticsearch數據節點及協調節點，CPU使用率：

我們在壓測的過程中發現一些之前在開發過程中沒發現的問題，首先bdcp數bigdata應用伺服器，使用的線程池最大線程數為8時，成為瓶頸，用戶數增加至8以後， clickhouse的cpu穩定在40%~50%之間不在增加，應用伺服器CPU穩定在25%左右，其次warehouse集群協調節點配置低，協調節點CPU使用率高，最後是clickhouse-jdbc JavaCC解析sql效率低。

4.3 結果分析

4.3.1 測試結論

1）clickhouse對併發有一定的支持，並不是不支持高併發，可以通過調整max_thread提高併發

  • max_thread=32時，支持最大TPS 是37，相應TP99是122
  • max_thread=2時，支持最大TPS 是66，相應TP99是155
  • max_thread=1時，支持最大TPS 是86，相應TP99是206

2）在併發方面Elasticsearch比clickhouse支持的更好，但是相應的響應速度慢很多

  • Elasticsearch：對應的TPS是192，TP99是3050
  • clickhouse：對應的TPS 是86，TP99是206

綜合考量，我們認為clickhouse足以支撐我們的業務訴求

4.3.2 優化建議
  1. 對ES協調節點進行擴容
  2. bigdata應用線程池最大線程數調高至200
  3. bigdata應用 dbcp線程池maxTotal設置成50
  4. 讀取配置文件工具類增加記憶體緩存

作者：潘雪艷

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 8 月份全球 Wi-Fi6 技術標準更新
    1.巴林 TRA 啟用 Wi-Fi6 2022 年 8 月 17 日，巴林電信管理局 (TRA) 批准了 5470-5725 MHz 和 5925-6425 MHz 頻段用於 Wi-Fi 6 和 Wi-Fi 6E 應用。這些新功能將允許互聯網用戶在巴林享受光纖和 5G 服務的全部功能 2.尚比亞 Z ...
  • 物聯網設備上雲難？華為雲IoT幫你一鍵完成模型定義，快速線上調試設備
    摘要：在不到3分鐘的操作里，不僅完成了一款智慧煙感設備在雲端的模型定義，還通過線上調試瞭解到了設備和遠端通信的過程。 本文分享自華為雲社區《物聯網設備上雲難？華為雲IoT幫你一鍵完成模型定義，快速線上調試設備》，作者：華為IoT雲服務 。 物聯網，即字面意思，讓“物”連上網路，比如，手機需要聯網，家 ...
  • Substance 3D Designer for mac(DS三維材質紋理製作)
    ds Mac版已出，使用 Substance 3D Designer，創建無縫材料和圖案、圖像過濾器、環境光，甚至 3D 模型。讓您的每個資產都可以輸出無限的變化。 詳情：Substance 3D Designer for mac(DS三維材質紋理製作) 軟體介紹 Substance 3D Desi ...
  • 電機的反電動勢瞭解及步進電機的基本特性
    電動勢，是導體內電子運動的必要條件，也是電子運動趨勢的一種表現，因而具有一定的方向性。 電動勢的方向，規定為從電源的負極，經過電源內部指向電源的正極，即與電源兩端電壓的方向相反。 反電動勢，是指由反抗電流發生改變的趨勢而產生電動勢。 反電動勢一般出現在電磁線圈中，如繼電器線圈、電磁閥、接觸器線圈、電 ...
  • MediaHuman YouTube Downloader for Mac(視頻下載軟體)
    MediaHuman YouTube Downloader for Mac是一款適用於mac視頻下載軟體。mediahuman youtube mac支持多個視頻同時下載，支持超高解析度包括4K和8K，支持YouTube，Vimeo，DAIlymotion，Soundcloud等。此外，還有一個選項 ...
  • Cool Menu for Mac(終極菜單欄應用程式)
    Cool Menu 是 macOS 上的包含 11 個超級實用功能的組合，把這些軟體卸載清理，亮度，調屏，磁碟空間優化等功能集中在一個菜單欄的小工具中，不會占用太多的空間，是很實用的一款軟體。 詳情：Cool Menu for Mac(菜單欄應用程式) 功能特色 可用磁碟空間 Cool Menu的全 ...
  • 面試現場！月薪3w+的這些數據挖掘SQL面試題你都掌握了嗎？ ⛵
    真實面試題分享！本文基於餐飲業數據，使用SQL分析挖掘客戶的就餐模式、點餐花費和菜品喜好等，以提升餐廳的業務經營水平。 ...
  • openGauss內核分析：執行計劃生成
    摘要：SQL語句解析完成後被解析成Query結構，在進行優化時是以Query為單位進行的，Query的優化分為基於規則的邏輯優化（查詢重寫）和基於代價的物理優化（計劃生成），主入口函數為subquery_planner。subquery_planner函數接收Query(查詢樹)，返回一個Plan( ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類