彈性資料庫連接池探活策略調研(一)——HikariCP

来源:https://www.cnblogs.com/jingdongkeji/archive/2023/09/06/17682828.html
-Advertisement-
Play Games

# 調研背景: 資料庫連接建立是比較昂貴的操作(至少對於 OLTP),不僅要建立 TCP 連接外還需要進行連接鑒權操作,所以客戶端通常會把資料庫連接保存到連接池中進行復用。連接池維護到彈性資料庫(JED)的長連接,彈性資料庫預設不會主動關閉客戶端連接(除非報錯),但一般客戶端到彈性資料庫之間還會有負 ...


調研背景:

資料庫連接建立是比較昂貴的操作(至少對於 OLTP),不僅要建立 TCP 連接外還需要進行連接鑒權操作,所以客戶端通常會把資料庫連接保存到連接池中進行復用。連接池維護到彈性資料庫(JED)的長連接,彈性資料庫預設不會主動關閉客戶端連接(除非報錯),但一般客戶端到彈性資料庫之間還會有負載均衡代理,它們通常為了節約連接資源會在連接空閑10分鐘後主動清理連接,釋放無用的連接資源。這就導致一些用戶的連接池探活參數配置不當,進而拿到是已經失效的連接。客戶端就會報以下錯誤:

基於以上的背景我們根據Java應用常用的連接池的常用版本的連接池探活相關的功能進行了調研,並對每個版本提供了JED配置的模版。目前,常用的連接池版本如下:

HikariCP 3.2.0、 3.4.5、4.0.3

DRUID 1.1.10、1.1.9、1.0.9

DBCP 1.4 、2.2.0、2.1.1

HikariCP

我們第一個章節先來介紹一下HikariCP連接池探活相關的內容:

HikariCP連接池會在需要分配連接對象給應用程式使用時,先檢查連接對象的狀態。為了檢測連接是否可用,連接池會調用isConnectionAlive方法。如果連接對象是可用的,連接池會將連接對象分配給應用程式使用;如果連接對象不可用,連接池會創建一個新的連接對象,並將新的連接對象分配給應用程式使用。

所以HikariCP連接池的連接對象失效時,連接池只會在日誌中輸出警告信息,建議縮短連接對象的最大生存時間(`maxLifetime`)。但是,這並不會影響程式的正常執行,因為連接池會自動重新創建新的連接對象並分配給應用程式使用。因此,應用程式可以繼續使用連接池中的連接對象,而不會受到失效連接的影響。

雖然使用HikariCP連接池時,如果不配置連接探活,應用程式在拿到失效的連接時不會報錯,但是當應用程式需要執行SQL時,可能會遇到失效的連接,導致需要重新建立連接,增加了額外的性能開銷。這樣就沒有充分發揮連接池的優勢,因為連接池的主要目的是通過重覆使用連接對象來提高應用程式的性能和可伸縮性。

為了最大化發揮連接池的價值,我們就一塊來瞭解一下關於HikariCP探活相關的內容,看看如何利用相關的探活參數更高效地使用連接池。

以下是跟HikariCP探活通用的相關的參數:

參數名稱 說明 預設值
minimumIdle 連接池維護的最小空閑連接數 5
maximumPoolSize 連接池中能容納的最大連接數 10
maxLifetime 此參數用來控制連接在連接池中最大的生命周期,當建立的連接時間超過這個參數時候在空閑狀態就會被銷毀。 1800000 (30 minutes)
idleTimeout 此參數用來控制連接在連接池中空閑的時間,如果設置8分鐘,就會每隔8分鐘清理一下超過minimumIdle的空閑連接。 600000 (10 minutes)
connectionTestQuery 這個參數在低版本中只會在從池中提供連接之前執行配置的SQL。這個參數適用於不支持JDBC4 Connection.isValid() API,支持JDBC4以上驅動的建議不要配置。 none
keepaliveTime 該屬性是防止底層網路基礎設施超時斷開,定期驗證連接的有效性,如果連接失效從連接池中剔除。該值必須小於maxLifetime值。4. 0.1以上版本引入的新參數可以結合connectionTestQuery參數來探活。 0 (禁用)

HikariCP連接池的探活代碼如下。可以看到,在探活時,連接池會根據isUseJdbc4Validation屬性的值來決定是否走JDBC API進行探活isUseJdbc4Validation屬性的值是在初始化數據源時根據connectionTestQuery屬性是否為空來賦值的。如果connectionTestQuery屬性為空,isUseJdbc4Validation屬性的值為true,連接池會走JDBC API進行探活。因此,在JDBC 4.0及以上版本中,不建議配置connectionTestQuery屬性進行探活,因為這樣會影響探活的效率。

在HikariCP較低的版本中,無法對連接進行保活,只能在每次獲取連接時驗證連接的有效性。而在4.0.1版本中,引入了keepaliveTime參數,可以定時的對連接進行探活。因此,為避免獲取到已關閉的連接,在低版本中,只能將maxLifetime參數調整到少於10分鐘,才能完全避免拿到網關已經關閉的連接。在4.0.1及以上版本中,可以使用keepaliveTime參數配合connectionTestQuery參數進行連接探活,從而在獲取連接之前就進行探活。這樣可以提高連接的可靠性和穩定性,避免應用程式遇到無效連接的情況。

配置keepaliveTime後我們可以看到每次到配置的時間就會列印出來探活日誌

因此針對線上使用HikariCP的應用推薦使用4.0.1以上支持keepaliveTime的版本。

JED配置模版:

HikariCP3.2.0

spring.datasource.hikari.minimumIdle=5
spring.datasource.hikari.maximumPoolSize=10
spring.datasource.hikari.maxLifetime=540000
spring.datasource.hikari.idleTimeout=480000
#JDBC4以上的版本不建議配置connectionTestQuery
spring.datasource.hikari.connectionTestQuery=select 1

低版本中主要保證maxLifetime低於10分鐘能夠完全避免拿到網關已經關閉的連接,但可能會造成頻繁的創建銷毀連接所以建議使用4.0.1以上支持keepaliveTime的版本。

HikariCP3.4.5

同3.2.0版本。

HikariCP4.0.3

spring.datasource.hikari.minimumIdle=5
spring.datasource.hikari.maximumPoolSize=10
spring.datasource.hikari.maxLifetime=1800000
spring.datasource.hikari.idleTimeout=600000
#JDBC4以上的版本不建議配置connectionTestQuery
spring.datasource.hikari.connectionTestQuery=select 1
spring.datasource.hikari.keepaliveTime=300000



4.0.1以上的版本中可以把keepaliveTime參數設置小於10分鐘對連接進行探活,就能避免拿到被網關關閉的連接,maxLifetime的時間就可以延長能避免頻繁的創建銷毀連接。

參考文檔: https://github.com/brettwooldridge/HikariCP#readme

作者:京東零售 王雷鑫

來源:京東雲開發者社區 轉載請註明來源


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • ## 前言 【**橋接模式**】是【**結構型**】設計模式的第二個模式,也有叫【橋模式】的,英文名稱:**Bridge Pattern**。 大家第一次看到這個名稱會想到什麼呢?我第一次看到這個模式根據名稱猜肯定是連接什麼東西的。因為橋在我們現實生活中經常是連接著A地和B地,再往後來發展,橋引申為 ...
  • WPF(Windows Presentation Foundation)是一個用於構建客戶端應用程式的圖形界面庫,它提供了許多對象變形(Object Transformation)的功能。這些功能可以讓你輕鬆地改變對象的大小、位置和角度,以實現各種視覺效果。 以下是一些常用的 WPF 對象變形技術: ...
  • 1. 進程和線程的區別 進程(Process)和線程(Thread)是操作系統中的重要概念,它們表示執行中的程式的不同執行單元。下麵是它們的區別: 定義:進程是一個獨立的執行環境,具有獨立的記憶體空間,包含程式代碼、數據和執行狀態。線程是進程內的一個執行單元,共用相同的記憶體空間和系統資源。 資源占用: ...
  • >雙系統grub意外消失怎麼辦? 不用重裝系統、不用去維修店、不會丟數據,教你一招,完美恢復grub! ### 背景 我的電腦是windows和linux雙系統,啟動項使用的grub。某天準備切換linux時突然發現grub不見了。近期可疑操作有:更新BIOS、多次切換UEFI、添加第三方風扇管理軟 ...
  • 哈嘍大家好,我是鹹魚 昨天老大讓我初始化一批伺服器,吭哧吭哧弄完之後需要把這批機器添加到 zabbix 上去 但是我發現一臺一臺添加效率好低,而且特別繁瑣,當時我沒有想出有什麼好的方法,今天上網搜了一下相關資料之後,發現 zabbix 還有個自動發現功能 手動添加監控主機的效率會非常低下,而 Zab ...
  • [toc] # Linux運維工程師面試題(8) > 祝各位小伙伴們早日找到自己心儀的工作。 > 持續學習才不會被淘汰。 > 地球不爆炸,我們不放假。 > 機會總是留給有有準備的人的。 > 加油,打工人! ## 1 docker 的網路類型,使用場景 - none:在使用none模式後,Docker ...
  • 本文介紹了非連續空間存放方式中的兩種常見形式:鏈式分配和索引分配。鏈式分配通過鏈表的方式實現了文件的非連續分配,其中包括了隱式鏈接和顯式鏈接兩種方式。隱式鏈接通過遍歷鏈表來獲取下一個節點的指針,適合於文件的擴展,但查找效率較低。顯式鏈接則將指針存儲在文件分配表中,提高了檢索速度,但不適用於大磁碟空間... ...
  • ![](https://img2023.cnblogs.com/blog/3076680/202309/3076680-20230905123241037-972099517.png) # 1. 基本信息 SQL學習指南(第3版) Learning SQL, Third Edition [美] 艾倫 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...