boneCP的連接管理

来源:http://www.cnblogs.com/wingsless/archive/2017/01/25/6349434.html
-Advertisement-
Play Games

轉載請標明鏈接:http://www.cnblogs.com/wingsless/p/6349434.html boneCP連接的實現 boneCP自己實現了標準的java.sql.Connection介面,除了會持有Connection對象之外,還會擁有一些屬性用於標記連接的創建時間,空閑時間等。 ...


轉載請標明鏈接:http://www.cnblogs.com/wingsless/p/6349434.html

boneCP連接的實現

boneCP自己實現了標準的java.sql.Connection介面,除了會持有Connection對象之外,還會擁有一些屬性用於標記連接的創建時間,空閑時間等。

比較重要的時間概念代碼如下:

if (!recreating){
  //上次使用時間戳
    connectionLastUsedInMs = System.currentTimeMillis();
  //上次重置時間戳
  connectionLastResetInMs = System.currentTimeMillis();
  //連接創建時間
  connectionCreationTimeInMs = System.currentTimeMillis();
}

boneCP對連接的管理

MySQL對連接有最大空閑時間的限制,預設是8小時,因此連接池在將連接分配給客戶端時,應該保證連接的可用性。

一般會有兩種做法:分配時測試和定時測試。

分配時測試:在收到客戶端請求時,連接池首先對向資料庫發送一條簡單的SQL,判斷連接是否可用。

定時測試:啟動一個測試線程(ConnectionTesterThread),定時每隔一段時間向資料庫發送命令,判斷連接是否可用。

boneCP採用定時測試的方式保證連接的可用。為了實現該方式,boneCP規定了兩個重要的參數:idleConnectionTestPeriodInSeconds(預設4小時)和idleMaxAgeInSeconds(預設1小時),分別表示空閑連接探測周期和連接最大可空閑時間。

預設情況下,boneCP啟動的keepalive線程每個1小時會啟動一次,用於檢查連接是否達到了空閑時間的上限:

代碼片段1:

if (connection.isPossiblyBroken() || 
    ((this.idleMaxAgeInMs > 0) && ( System.currentTimeMillis()-connection.getConnectionLastUsedInMs() > this.idleMaxAgeInMs))){
    // kill off this connection - it's broken or it has been idle for too long
    closeConnection(connection);
    continue;
}

如果一個線程距離上次使用已經過去了1小時以上,則會在這段邏輯中被close掉,然後繼續迴圈掃描其他的連接。

一個連接被close掉之後,boneCP會有其他的線程負責新建連接。因此表現在MySQL客戶端上,可以看到每隔1小時,就會關閉一些連接並出現一些新的連接(極端情況下,所有的連接都被關閉,並一次性重建所有連接)。註意新建連接的MySQL分配id和舊連接完全不同。

需要註意的是,在預設情況下,並沒有觀察到邏輯執行到這裡的現象:

代碼片段2:

if (this.idleConnectionTestPeriodInMs > 0 && (currentTimeInMs-connection.getConnectionLastUsedInMs() > this.idleConnectionTestPeriodInMs) &&
    (currentTimeInMs-connection.getConnectionLastResetInMs() >= this.idleConnectionTestPeriodInMs)) {
    // send a keep-alive, close off connection if we fail.
    if (!this.pool.isConnectionHandleAlive(connection)){
        closeConnection(connection);
        continue; 
    }
    // calculate the next time to wake up
    tmp = this.idleConnectionTestPeriodInMs;
    if (this.idleMaxAgeInMs > 0){ // wake up earlier for the idleMaxAge test?
        tmp = Math.min(tmp, this.idleMaxAgeInMs);
        }
}

這段邏輯主要判斷是否有連接的上一次重置時間距現在超過4小時,如果有,則向MySQL發一個探測命令,並且將連接的最後一次重置時間設為當前時間,如果連接alive,返回true,不對連接進行close操作。

上一段代碼也是ConnectionTesterThread的邏輯,推斷應該是因為每隔1小時,連接就會被關閉重建一次,因此不會存在滿足這段邏輯條件的連接存在。

如果修改預設值,將idleConnectionTestPeriodInSeconds和idleMaxAgeInSeconds的值對調,那麼boneCP仍會每隔1小時(即idleConnectionTestPeriodInSeconds時間)定時調度keepalive線程。

此時可以發現上述兩段邏輯都會被執行,每次執行的時候,都會首先執行代碼片段2中的邏輯,因此每次都會更新ConnectionHandler的最後一次重置時間,但是連接仍然不會生存超過4小時,每4小時,邏輯就會進入代碼片段1中,將連接close掉。

jdbc驅動的NonRegistingDriver分析

現在發現系統運行一段時間以後就會出現fullGC,從記憶體分析上看,大部分記憶體都被com.mysql.jdbc.NonRegistingDriver占去。通過跟蹤jdbc代碼發現,當connection建立的時候,jdbc總會將該connection交給NonRegistingDriver,建立一個虛引用,並將該虛引用放在一個ConcurrentHashMap中。

代碼片段3:

protected static void trackConnection(Connection newConn) {
    ConnectionPhantomReference phantomRef = new ConnectionPhantomReference((ConnectionImpl) newConn, refQueue);
    connectionPhantomRefs.put(phantomRef, phantomRef);
}

記憶體分析中發現很多記憶體正是被NonRegistingDriver中的ConcurrentHashMap占去,因此可以推斷,應該是新建了大量的Connection導致了大量的NonRegistingDriver對象被新建,從而引發了記憶體問題。

綜合上面對boneCP的分析,應該是boneCP定時的將連接close掉再重建導致的,如果在不是很繁忙的系統上,該情況應該會比較嚴重。

boneCP探測連接可用的方式

在沒有設置探測SQL的情況下,boneCP利用jdbc的getMetaData方法,獲取connection的元數據,從其Javadoc上看,元數據應該包括了資料庫的表,SQL語法,存儲過程等等信息:

The metadata includes information about the database's tables, its supported SQL grammar, its stored procedures, the capabilities of this connection, and so on.

經過抓包分析,實際上getMetaData方法向MySQL 發送了一條簡單的show tables命令,如果收到response則認為連接是alive的。

轉載請標明鏈接:http://www.cnblogs.com/wingsless/p/6349434.html



您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 背景: SQL Server 2008 R2 10.50.1600 沒有設置頁面文件,記憶體為64G,資料庫分配50G cpu使用占了50%以上,平時只有10-20%,某台伺服器“RESOURCE MONITOR“CPU占用特別高。 原因: 網上有說是虛擬記憶體不夠,也有說升級版本就可以解決。 猜測,是 ...
  • Cast函數;CONVERT函數。 用法:CAST(expr AS type), CONVERT(expr,type) , CONVERT(expr USING transcoding_name). SELECT CONVERT('abc' USING utf8); 將varchar 轉為Int 用 ...
  • (以下內容使用的系統和版本為Windows7系統和Oracle11g,Windows其他版本和Oracle其他版本基本差不多。) 一、Oracle簡介 簡介:Oracle是一個關係型資料庫管理系統,是Oracle公司的核心產品。 主要特點: 1、支持多用戶、大事務量的事務處理 2、在保持數據安全性和 ...
  • 連接資料庫可以有三種方式,使用Oracle自帶的SQL*Plus和SQLDeveloper,以及使用第三方工具PL/SQLDeveloper。 一、使用SQL*Plus連接資料庫 SQL*Plus連接也有三種連接方式,可以分為兩類,一類需要配置文件tnsnames.ora,另一類不需要 1、命令格式 ...
  • 一、安裝前的準備: 首先在這裡給出本人的百度網盤的鏈接:http://pan.baidu.com/s/1c1WF1PQ;網速快的小伙伴建議到官網:http://www.oracle.com/technetwork/database/enterprise-edition/downloads/index ...
  • 首先安裝依賴包,避免在安裝過程中出現問題 上面的依賴包安裝也可以一行搞定 mysql源碼下載地址:https://dev.mysql.com/downloads/mysql/5.6.html#downloads 源碼包地址:https://dev.mysql.com/get/Downloads/My ...
  • -- 開窗函數:在結果集的基礎上進一步處理(聚合操作) -- Over函數,添加一個欄位顯示最大年齡 SELECT * , MAX(StuAge) OVER ( ) MaxStuAge FROM dbo.Student; -- Over函數,添加一個欄位顯示總人數 SELECT * , COUNT(... ...
  • -- 交叉連接產生笛卡爾值 (X*Y) SELECT * FROM Student cross Join dbo.ClassInfo --另外一種寫法 SELECT * FROM Student , ClassInfo -- 內連接 (Inner 可以省略) SELECT * FROM Studen... ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...