程式員必須練就的「性能調優」組合拳【4】

来源:https://www.cnblogs.com/itlaobingge/archive/2020/01/21/12221003.html
-Advertisement-
Play Games

程式員在轉型架構師的過程中需要建立流程化、結構化、系統化的思維方式,而性能調優是非常難得的契機,它既給了我們壓力,也給了我們動力,跨越它就是突破自己的過程。Y 維度,就是從業務 HTTP 請求的橫向處理流程來看,HTTP 請求會穿越網路、電腦、應用容器(Tomcat)、Spring、ORM(Hib... ...


性能調優系列前序文章索引:

  • 程式員必須掌握的性能調優:老兵哥結合個人經歷解釋了程式員往架構師方向發展時為什麼要跨越性能調優這一關,以及介紹了從 X、Y、Z 三個維度優化性能的思路。
  • 從  X  維度優化系統的性能:老兵哥分享了從 X 維度優化系統性能的思路,包括讓客戶端分計算存儲任務、優化交互設計等,主要是作為引子拓寬我們性能調優的思路。
  • 應用容器 Tomcat 性能調優:老兵哥介紹了從 Y 維度通過優化應用容器 Tomcat 來優化系統性能的方法。
  • 開發框架 Spring 性能調優:老兵哥介紹了從 Y 維度通過優化開發框架 Spring 來優化系統性能的方法。

今天老兵哥將介紹通過優化對象關係映射 ORM 框架(Hibernate)等來優化系統性能的方法。

4. ORM 框架 Hibernate

對象-關係映射 ORM(Object/Relation Mapping),是伴隨著面向對象軟體開發方法的發展而產生的。面向對象的開發方法是當今企業級應用開發環境中的主流方法,關係資料庫是企業級應用環境中數據永久存儲的主流數據存儲系統。對象和關係是業務實體數據的兩種表現形式,業務實體在記憶體中表現為對象,在資料庫中表現為關係數據。記憶體中的對象之間存在關聯和繼承關係,而在資料庫中,關係數據無法直接表達多對多關聯和繼承關係。

對象-關係映射 ORM 系統通常以中間件的形式存在,藉助描述對象到關係資料庫數據的映射元數據,將記憶體中的對象自動持久化到關係資料庫中,其本質就是將數據從一種形式轉換到另外一種形式。這個轉換過程需要額外的開銷,自然也就存在許多優化的機會,接下來我們一起來看看如何提升 ORM 框架 Hibernate 的性能。 

4.1 批量處理

應用或者 ORM 框架每次執行 SQL 語句都需要跟資料庫建立連接,每次建立連接都需要額外開銷。如果某個事務內部有迴圈多次操作資料庫的場景,那麼將這些操作彙集在一起批量執行,這樣就可以降低損耗,具體如下:

  • 批量插入

使用這種方法時,首先在 Hibernate 的配置文件 hibernate.cfg.xml 中設置批量尺寸屬性 hibernate.jdbc.batch_size ,且最好關閉Hibernate的二級緩存以提高效率。

<hibernate-configuration>
<session-factory>
<property name="hibernate.jdbc.batch_size">50</property> //設置尺寸
<property name="hibernate.cache.use_second_level_cache">false</property> //關閉緩存
<mapping resource="com/itlaobingge/po/User.hbm.xml" /> 
</session-factory>
</hibernate-configuration>

 

public class HibernateDemo {
public static void main(String args[]) {
Session session = HibernateSessionFactory.getSession();
Transaction ts = session.beginTransaction();
for (int i = 0; i < 50; i++) {
User user = new User();
user.setPassword(i);
session.save(user);
if (i%50 == 0) {
// 以 50 為一個批次往資料庫提交,此值應與配置的批量尺寸一致
session.flush();
// 清空緩存區,釋放記憶體供下批數據使用
session.clear(); 
}
}

ts.commit();
HibernateSessionFactory.closeSession();
}
} 
  • 批量更新

為了使 Hibernate 的 HQL 直接支持 update 的批量更新語法,我們需要在 Hibernate 的配置文件 hibernate.cfg.xml 中設置 HQL/SQL 查詢翻譯器屬性 "hibernate.query.factory_class":

<hibernate-configuration>
......
<property name="hibernate.query.factory_class">
org.hibernate.hql.internal.ast.ASTQueryTranslatorFactory
</property>
<mapping resource="com/itlaobingge/po/User.hbm.xml" />
</session-factory>
</hibernate-configuration>

 

public class HibernateDemo {
public static void main(String args[]) {
Session session = HibernateSessionFactory.getSession();
Transaction ts = session.beginTransaction();
Query query = session.createQuery("update User set password='123456'");
query.executeUpdate();
ts.commit();
HibernateSessionFactory.closeSession();
}
}

 

  • 批量刪除

為了使 Hibernate 的 HQL 直接支持 delete 的批量更新語法,我們需要在 Hibernate 的配置文件 hibernate.cfg.xml 中設置 HQL/SQL 查詢翻譯器屬性 "hibernate.query.factory_class":

<hibernate-configuration>
......
<property name="hibernate.query.factory_class">
org.hibernate.hql.internal.ast.ASTQueryTranslatorFactory
</property>
<mapping resource="com/itlaobingge/po/User.hbm.xml" />
</session-factory>
</hibernate-configuration>

 

public class HibernateDemo {
public static void main(String args[]) {
Session session = HibernateSessionFactory.getSession();
Transaction ts = session.beginTransaction();
Query query=session.createQuery("delete User where id < 123");
query.executeUpdate();
ts.commit();
HibernateSessionFactory.closeSession();
}
}

  

4.2 抓取策略

抓取策略是指當應用程式需要在對象關聯關係間進行導航時,Hibernate 如何獲取關聯對象的策略,常見的抓取策略有如下幾種:

  • 鏈接抓取(Join Fetching):通過在 select 語句中使用 out join 來獲取對象的關聯實例或者關聯集合。
  • 查詢抓取(Select Fetching):發送另外一條 select 語句抓取當前對象的關聯實體或者關聯集合。除非我們顯示地指定 lazy=”false” 禁止延遲抓取,否則只有當我們真正訪問了關聯關係時才會執行第二條 select 語句。
  • 子查詢抓取:另外發送一條 select 語句抓取在前面查詢到或抓取到的所有實體對象的關聯集合。除非你顯式的指定 lazy="false" 禁止延遲抓取,否則只有當你真正訪問關聯關係的時候,才會執行第二條 select 語句。
  • 批量抓取(Batch fetching):對查詢抓取的優化方案,通過指定一個主鍵或外鍵列表,Hibernate 使用單條 select 語句獲取一批對象實例或集合。

Hibernate 會區分下列幾種情況:

  • 立即抓取(Immediate fetching):當宿主被載入時,關聯、集合或屬性被立即抓取。
  • 延遲集合抓取(Lazy collectionfetching):直到應用程式對集合進行了一次操作時,集合才被抓取。
  • Extra-lazy 集合抓取(Extra-lazy collection fetching):對集合類中的每個元素而言,都是直到需要時才去訪問資料庫。除非絕對必要,Hibernate 不會試圖去把整個集合都抓取到記憶體里來。
  • 代理抓取(Proxy fetching):對返回單值的關聯而言,當其某個方法被調用,而非對其關鍵字進行 get 操作時才抓取。
  • 非代理抓取(No-proxy fetching):對返回單值的關聯而言,當實例變數被訪問的時候進行抓取。與上面的代理抓取相比,這種方法沒有那麼延遲得厲害,就算只訪問標識符,也會導致關聯抓取,但是更加透明,因為對應用程式來說,不再看到 proxy。這種方法需要在編譯期間進行位元組碼增強操作,因此很少需要用到。
  • 屬性延遲載入(Lazy-attribute fetching):對屬性或返回單值的關聯而言,當其實例變數被訪問的時候進行抓取。需要編譯期位元組碼強化,因此這一方法很少是必要的。

定製合理的抓取策略對系統的性能提升有很大的幫助。查詢抓取在 N+1 查詢的情況下是極其脆弱的,因此我們可能會要求在映射文件中定義連接抓取(fetch=”join”),但是在映射文件中定義的抓取策略將會產生以下影響:通過 get() 或者 load() 方法獲取數據,只有在關聯之間進行導航時,才會隱式的取得數據。

條件查詢,使用了 subselect 抓取的 HQL 查詢,不管使用哪種抓取策略,定義為非延時的類圖會保證裝載入記憶體,這就意味著一條 HQL 查詢後緊跟著一系列的查詢。通常我們並不使用映射文件進行抓取策略的定製,更多是保持其預設值然後在待定事務中適用 HQL 的左連接對其進行重載。

Hibernate 推薦的做法也是最佳實踐:把所有對象關聯的抓取都設為 lazy,然後在特定事務中進行重載。這種考慮是基於對象之間的關聯關係錯綜複雜,有時候哪怕我們只是一個簡單的查詢,也會導致很多關聯對象被裝載出來,所以在 Hibernate 中,所有對象關聯都是 lazy 的。

在 Hibernate 中實施關聯抓取,我們可以定義每次抓取數據的數量,批量地將數據載入記憶體,減少與資料庫交互的次數,在應用程式中可以定義預設的關聯抓取數量。Hibernate 提供了兩種批量抓取方案:

  • 類級別的批量查詢,如果一個 Session 中需要載入 30 個 User 實例,在 User 中擁有一個類 Class 成員變數 class。如果 lazy=“true”,我們需要遍歷整個 user 集合,每一個 user 都需要 getClass(),在預設情況下要執行 30 次查詢得到 Class 對象。因此,可以通過在映射文件的 Class 屬性設置 batch-size,這樣Hibernate 只需要執行兩次查詢即可:
<class name=”Class” batch-size=”15”>...</class>

  

  • 集合級別的批量查詢,如果我們需要遍歷 30 個 Class 對象下所擁有 User 對象列表,在 Session 中需要載入 30 個 Class 對象,遍歷 Class 集合將會引起 30 次查詢,每次查詢都會調用 getUsers()。如果在 Class 的映射定義中,允許對 User 進行批量抓取,則 Hibernate 就會預先載入整個集合。
<set name=”users” batch-size=”15”>...</set> 

 

4.3 二級緩存

緩存可以降低應用程式對物理數據源訪問的頻次,從而提高應用程式的運行性能。緩存對 Hibernate 來說也是很重要的,它使用瞭如下圖所示的多級緩存方案:

  • 一級緩存,第一級緩存是 Session 緩存,屬於強制性緩存,所有請求都必須通過它。Session 對象在它自己的權利之下,在將它提交給資料庫之前保存一個對象。如果你對一個對象發出多個更新,Hibernate 會嘗試儘可能長地延遲更新來減少發出的 SQL 更新語句的數目。如果你關閉 Session,所有緩存的對象丟失,或是存留,或是在資料庫中被更新。
  • 二級緩存,第二級緩存是可選擇的,第一級緩存在任何想要在第二級緩存中找到一個對象前被詢問。第二級緩存可以在每一個類和每一個集合的基礎上被安裝,並且它主要負責跨會話緩存對象。任何第三方緩存都可以和 Hibernate 合作,只要它實現 org.hibernate.cache.CacheProvider 介面。

Hibernate 的二級緩存通過兩個步驟設置:

  • 第一,你必須決定好使用哪個併發策略(Transactional、Read-write、Nonstrict-read-write、Read-only);
  • 第二,你使用第三方緩存提供者來配置緩存到期時間和物理緩存屬性。併發策略,負責保存緩存中的數據項和從緩存中檢索它們,如何選擇併發策略及配置可以查資料。

4.4 查詢緩存

查詢結果集也可以被緩存,只有在經常使用同樣的參數進行查詢時,查詢緩存才會有些用處。如果要使用查詢緩存,你必須打開它:hibernate.cache.use_query_cache,該設置將會創建兩個緩存區域:一個用於保存查詢結果集(org.hibernate.cache.StandardQueryCache);另一個則用於保存最近查詢的一系列表的時間戳(org.hibernate.cache.UpdateTimestampsCache)。

在查詢緩存中,它並不緩存結果集中所包含的實體的確切狀態,它只緩存這些實體的標識符屬性的值、以及各值類型的結果,所以查詢緩存通常會和二級緩存一起使用。絕大多數的查詢並不能從查詢緩存中受益,所以 Hibernate 預設是不進行查詢緩存的。如若需要進行緩存,請調用 Query.setCacheable(true) 方法。這個調用會讓查詢在執行過程中時先從緩存中查找結果,並將自己的結果集放到緩存中去。

 

 

關註「 IT老兵哥 」,賦能程式人生!堅持原創不易,請小伙伴們不吝點個「  」哦!推薦軟技能文章,請點擊鏈接:程式員,怎樣打造個人影響力?

 

 

近期熱評系列《 程式員必須懂的架構師入門課 》:


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 趕快打開微信開發工具,快速進到項目視窗中。展開pages,展開index,展開logs,展開utils,展開一切可以展開的。唯有如此,方能見到整個項目的全貌。項目中,工程配置文件project.config.json,可用來配置appid、項目名稱、調試基礎庫,還有雲開發的文件夾路徑,至於其他的,幾... ...
  • 圓角矩形介紹 在 中通過 屬性可以實現元素的圓角矩形。 屬性值一共有 個,左上、右上、左下、右下。 屬性值規則如下:第一個值為左上、第二個值為右上、第三個值為左下、第四個值為右下。 假如 屬性值都是一致的我可以設置一個屬性值即可。 圓角矩形實踐 圓角矩形基本使用方式 如果我們的 屬性值一致實踐。 如 ...
  • 起步 下載模板: 初始化項目: 將 文件內容替換如下: 安裝模板依賴的樣式文件: 在 文件中導入樣式文件: 看到如下頁面說明成功。 ...
  • todolist小案例 "該案例的模板文件下載地址" 走外國伺服器, ̄□ ̄|| app.module.ts 核心組件app.component.ts 發現這倆不是同一類文件,哈哈哈,٩(๑ ◡ !t.done) } else if (this.visibility === 'completed') ...
  • Node.js簡介 Node.js是一個能夠在伺服器端運行JavaScript的開源代碼、跨平臺JavaScript運行環境 Node採用Google開發的V8引擎運行js代碼,使用事件驅動、非阻塞和非同步I/O模型等技術來提高性能,可優化應用程式的傳輸量和規模 Node大部分基本模塊都用JavaSp ...
  • 前言 最近在學習研究 Nest 框架,但是在學習過程中除了參考翻閱官方文檔外國內幾乎沒有多少資料能系統的講解 Nest 的相關內容,所以打算想通過我自己學習的角度講解下 Nest 框架,不知道能堅持多久,也可能有錯誤或遺漏的地方,歡迎大家批評指正。 下麵我學習 Nest 的主要信息來源,在編寫過程中 ...
  • 7)onloadonload就是等頁面載入完後才執行。例 3.7.1<HEAD> <meta http-equiv="content-type" content="text/html; charset=utf-8"/> <SCRIPT LANGUAGE="JavaScript"> <!-- func ...
  • Vue開發環境跨域訪問其他伺服器或者本機其他埠,需要配置項目中config/index.js文件,修改如下 module.exports = { dev: { // Paths assetsSubDirectory: 'static', assetsPublicPath: '/', proxyTa ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...