彈性資料庫連接池探活策略調研(一)——HikariCP

来源:https://www.cnblogs.com/jingdongkeji/archive/2023/09/06/17682828.html
-Advertisement-
Play Games

# 調研背景: 資料庫連接建立是比較昂貴的操作(至少對於 OLTP),不僅要建立 TCP 連接外還需要進行連接鑒權操作,所以客戶端通常會把資料庫連接保存到連接池中進行復用。連接池維護到彈性資料庫(JED)的長連接,彈性資料庫預設不會主動關閉客戶端連接(除非報錯),但一般客戶端到彈性資料庫之間還會有負 ...


調研背景:

資料庫連接建立是比較昂貴的操作(至少對於 OLTP),不僅要建立 TCP 連接外還需要進行連接鑒權操作,所以客戶端通常會把資料庫連接保存到連接池中進行復用。連接池維護到彈性資料庫(JED)的長連接,彈性資料庫預設不會主動關閉客戶端連接(除非報錯),但一般客戶端到彈性資料庫之間還會有負載均衡代理,它們通常為了節約連接資源會在連接空閑10分鐘後主動清理連接,釋放無用的連接資源。這就導致一些用戶的連接池探活參數配置不當,進而拿到是已經失效的連接。客戶端就會報以下錯誤:

基於以上的背景我們根據Java應用常用的連接池的常用版本的連接池探活相關的功能進行了調研,並對每個版本提供了JED配置的模版。目前,常用的連接池版本如下:

HikariCP 3.2.0、 3.4.5、4.0.3

DRUID 1.1.10、1.1.9、1.0.9

DBCP 1.4 、2.2.0、2.1.1

HikariCP

我們第一個章節先來介紹一下HikariCP連接池探活相關的內容:

HikariCP連接池會在需要分配連接對象給應用程式使用時,先檢查連接對象的狀態。為了檢測連接是否可用,連接池會調用isConnectionAlive方法。如果連接對象是可用的,連接池會將連接對象分配給應用程式使用;如果連接對象不可用,連接池會創建一個新的連接對象,並將新的連接對象分配給應用程式使用。

所以HikariCP連接池的連接對象失效時,連接池只會在日誌中輸出警告信息,建議縮短連接對象的最大生存時間(`maxLifetime`)。但是,這並不會影響程式的正常執行,因為連接池會自動重新創建新的連接對象並分配給應用程式使用。因此,應用程式可以繼續使用連接池中的連接對象,而不會受到失效連接的影響。

雖然使用HikariCP連接池時,如果不配置連接探活,應用程式在拿到失效的連接時不會報錯,但是當應用程式需要執行SQL時,可能會遇到失效的連接,導致需要重新建立連接,增加了額外的性能開銷。這樣就沒有充分發揮連接池的優勢,因為連接池的主要目的是通過重覆使用連接對象來提高應用程式的性能和可伸縮性。

為了最大化發揮連接池的價值,我們就一塊來瞭解一下關於HikariCP探活相關的內容,看看如何利用相關的探活參數更高效地使用連接池。

以下是跟HikariCP探活通用的相關的參數:

參數名稱 說明 預設值
minimumIdle 連接池維護的最小空閑連接數 5
maximumPoolSize 連接池中能容納的最大連接數 10
maxLifetime 此參數用來控制連接在連接池中最大的生命周期,當建立的連接時間超過這個參數時候在空閑狀態就會被銷毀。 1800000 (30 minutes)
idleTimeout 此參數用來控制連接在連接池中空閑的時間,如果設置8分鐘,就會每隔8分鐘清理一下超過minimumIdle的空閑連接。 600000 (10 minutes)
connectionTestQuery 這個參數在低版本中只會在從池中提供連接之前執行配置的SQL。這個參數適用於不支持JDBC4 Connection.isValid() API,支持JDBC4以上驅動的建議不要配置。 none
keepaliveTime 該屬性是防止底層網路基礎設施超時斷開,定期驗證連接的有效性,如果連接失效從連接池中剔除。該值必須小於maxLifetime值。4. 0.1以上版本引入的新參數可以結合connectionTestQuery參數來探活。 0 (禁用)

HikariCP連接池的探活代碼如下。可以看到,在探活時,連接池會根據isUseJdbc4Validation屬性的值來決定是否走JDBC API進行探活isUseJdbc4Validation屬性的值是在初始化數據源時根據connectionTestQuery屬性是否為空來賦值的。如果connectionTestQuery屬性為空,isUseJdbc4Validation屬性的值為true,連接池會走JDBC API進行探活。因此,在JDBC 4.0及以上版本中,不建議配置connectionTestQuery屬性進行探活,因為這樣會影響探活的效率。

在HikariCP較低的版本中,無法對連接進行保活,只能在每次獲取連接時驗證連接的有效性。而在4.0.1版本中,引入了keepaliveTime參數,可以定時的對連接進行探活。因此,為避免獲取到已關閉的連接,在低版本中,只能將maxLifetime參數調整到少於10分鐘,才能完全避免拿到網關已經關閉的連接。在4.0.1及以上版本中,可以使用keepaliveTime參數配合connectionTestQuery參數進行連接探活,從而在獲取連接之前就進行探活。這樣可以提高連接的可靠性和穩定性,避免應用程式遇到無效連接的情況。

配置keepaliveTime後我們可以看到每次到配置的時間就會列印出來探活日誌

因此針對線上使用HikariCP的應用推薦使用4.0.1以上支持keepaliveTime的版本。

JED配置模版:

HikariCP3.2.0

spring.datasource.hikari.minimumIdle=5
spring.datasource.hikari.maximumPoolSize=10
spring.datasource.hikari.maxLifetime=540000
spring.datasource.hikari.idleTimeout=480000
#JDBC4以上的版本不建議配置connectionTestQuery
spring.datasource.hikari.connectionTestQuery=select 1

低版本中主要保證maxLifetime低於10分鐘能夠完全避免拿到網關已經關閉的連接,但可能會造成頻繁的創建銷毀連接所以建議使用4.0.1以上支持keepaliveTime的版本。

HikariCP3.4.5

同3.2.0版本。

HikariCP4.0.3

spring.datasource.hikari.minimumIdle=5
spring.datasource.hikari.maximumPoolSize=10
spring.datasource.hikari.maxLifetime=1800000
spring.datasource.hikari.idleTimeout=600000
#JDBC4以上的版本不建議配置connectionTestQuery
spring.datasource.hikari.connectionTestQuery=select 1
spring.datasource.hikari.keepaliveTime=300000



4.0.1以上的版本中可以把keepaliveTime參數設置小於10分鐘對連接進行探活,就能避免拿到被網關關閉的連接,maxLifetime的時間就可以延長能避免頻繁的創建銷毀連接。

參考文檔: https://github.com/brettwooldridge/HikariCP#readme

作者:京東零售 王雷鑫

來源:京東雲開發者社區 轉載請註明來源


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • ## 前言 【**橋接模式**】是【**結構型**】設計模式的第二個模式,也有叫【橋模式】的,英文名稱:**Bridge Pattern**。 大家第一次看到這個名稱會想到什麼呢?我第一次看到這個模式根據名稱猜肯定是連接什麼東西的。因為橋在我們現實生活中經常是連接著A地和B地,再往後來發展,橋引申為 ...
  • WPF(Windows Presentation Foundation)是一個用於構建客戶端應用程式的圖形界面庫,它提供了許多對象變形(Object Transformation)的功能。這些功能可以讓你輕鬆地改變對象的大小、位置和角度,以實現各種視覺效果。 以下是一些常用的 WPF 對象變形技術: ...
  • 1. 進程和線程的區別 進程(Process)和線程(Thread)是操作系統中的重要概念,它們表示執行中的程式的不同執行單元。下麵是它們的區別: 定義:進程是一個獨立的執行環境,具有獨立的記憶體空間,包含程式代碼、數據和執行狀態。線程是進程內的一個執行單元,共用相同的記憶體空間和系統資源。 資源占用: ...
  • >雙系統grub意外消失怎麼辦? 不用重裝系統、不用去維修店、不會丟數據,教你一招,完美恢復grub! ### 背景 我的電腦是windows和linux雙系統,啟動項使用的grub。某天準備切換linux時突然發現grub不見了。近期可疑操作有:更新BIOS、多次切換UEFI、添加第三方風扇管理軟 ...
  • 哈嘍大家好,我是鹹魚 昨天老大讓我初始化一批伺服器,吭哧吭哧弄完之後需要把這批機器添加到 zabbix 上去 但是我發現一臺一臺添加效率好低,而且特別繁瑣,當時我沒有想出有什麼好的方法,今天上網搜了一下相關資料之後,發現 zabbix 還有個自動發現功能 手動添加監控主機的效率會非常低下,而 Zab ...
  • [toc] # Linux運維工程師面試題(8) > 祝各位小伙伴們早日找到自己心儀的工作。 > 持續學習才不會被淘汰。 > 地球不爆炸,我們不放假。 > 機會總是留給有有準備的人的。 > 加油,打工人! ## 1 docker 的網路類型,使用場景 - none:在使用none模式後,Docker ...
  • 本文介紹了非連續空間存放方式中的兩種常見形式:鏈式分配和索引分配。鏈式分配通過鏈表的方式實現了文件的非連續分配,其中包括了隱式鏈接和顯式鏈接兩種方式。隱式鏈接通過遍歷鏈表來獲取下一個節點的指針,適合於文件的擴展,但查找效率較低。顯式鏈接則將指針存儲在文件分配表中,提高了檢索速度,但不適用於大磁碟空間... ...
  • ![](https://img2023.cnblogs.com/blog/3076680/202309/3076680-20230905123241037-972099517.png) # 1. 基本信息 SQL學習指南(第3版) Learning SQL, Third Edition [美] 艾倫 ...
一周排行
    -Advertisement-
    Play Games
  • 示例項目結構 在 Visual Studio 中創建一個 WinForms 應用程式後,項目結構如下所示: MyWinFormsApp/ │ ├───Properties/ │ └───Settings.settings │ ├───bin/ │ ├───Debug/ │ └───Release/ ...
  • [STAThread] 特性用於需要與 COM 組件交互的應用程式,尤其是依賴單線程模型(如 Windows Forms 應用程式)的組件。在 STA 模式下,線程擁有自己的消息迴圈,這對於處理用戶界面和某些 COM 組件是必要的。 [STAThread] static void Main(stri ...
  • 在WinForm中使用全局異常捕獲處理 在WinForm應用程式中,全局異常捕獲是確保程式穩定性的關鍵。通過在Program類的Main方法中設置全局異常處理,可以有效地捕獲並處理未預見的異常,從而避免程式崩潰。 註冊全局異常事件 [STAThread] static void Main() { / ...
  • 前言 給大家推薦一款開源的 Winform 控制項庫,可以幫助我們開發更加美觀、漂亮的 WinForm 界面。 項目介紹 SunnyUI.NET 是一個基於 .NET Framework 4.0+、.NET 6、.NET 7 和 .NET 8 的 WinForm 開源控制項庫,同時也提供了工具類庫、擴展 ...
  • 說明 該文章是屬於OverallAuth2.0系列文章,每周更新一篇該系列文章(從0到1完成系統開發)。 該系統文章,我會儘量說的非常詳細,做到不管新手、老手都能看懂。 說明:OverallAuth2.0 是一個簡單、易懂、功能強大的許可權+可視化流程管理系統。 有興趣的朋友,請關註我吧(*^▽^*) ...
  • 一、下載安裝 1.下載git 必須先下載並安裝git,再TortoiseGit下載安裝 git安裝參考教程:https://blog.csdn.net/mukes/article/details/115693833 2.TortoiseGit下載與安裝 TortoiseGit,Git客戶端,32/6 ...
  • 前言 在項目開發過程中,理解數據結構和演算法如同掌握蓋房子的秘訣。演算法不僅能幫助我們編寫高效、優質的代碼,還能解決項目中遇到的各種難題。 給大家推薦一個支持C#的開源免費、新手友好的數據結構與演算法入門教程:Hello演算法。 項目介紹 《Hello Algo》是一本開源免費、新手友好的數據結構與演算法入門 ...
  • 1.生成單個Proto.bat內容 @rem Copyright 2016, Google Inc. @rem All rights reserved. @rem @rem Redistribution and use in source and binary forms, with or with ...
  • 一:背景 1. 講故事 前段時間有位朋友找到我,說他的窗體程式在客戶這邊出現了卡死,讓我幫忙看下怎麼回事?dump也生成了,既然有dump了那就上 windbg 分析吧。 二:WinDbg 分析 1. 為什麼會卡死 窗體程式的卡死,入口門檻很低,後續往下分析就不一定了,不管怎麼說先用 !clrsta ...
  • 前言 人工智慧時代,人臉識別技術已成為安全驗證、身份識別和用戶交互的關鍵工具。 給大家推薦一款.NET 開源提供了強大的人臉識別 API,工具不僅易於集成,還具備高效處理能力。 本文將介紹一款如何利用這些API,為我們的項目添加智能識別的亮點。 項目介紹 GitHub 上擁有 1.2k 星標的 C# ...