程式員必須練就的「性能調優」組合拳【4】

来源:https://www.cnblogs.com/itlaobingge/archive/2020/01/21/12221003.html
-Advertisement-
Play Games

程式員在轉型架構師的過程中需要建立流程化、結構化、系統化的思維方式,而性能調優是非常難得的契機,它既給了我們壓力,也給了我們動力,跨越它就是突破自己的過程。Y 維度,就是從業務 HTTP 請求的橫向處理流程來看,HTTP 請求會穿越網路、電腦、應用容器(Tomcat)、Spring、ORM(Hib... ...


性能調優系列前序文章索引:

  • 程式員必須掌握的性能調優:老兵哥結合個人經歷解釋了程式員往架構師方向發展時為什麼要跨越性能調優這一關,以及介紹了從 X、Y、Z 三個維度優化性能的思路。
  • 從  X  維度優化系統的性能:老兵哥分享了從 X 維度優化系統性能的思路,包括讓客戶端分計算存儲任務、優化交互設計等,主要是作為引子拓寬我們性能調優的思路。
  • 應用容器 Tomcat 性能調優:老兵哥介紹了從 Y 維度通過優化應用容器 Tomcat 來優化系統性能的方法。
  • 開發框架 Spring 性能調優:老兵哥介紹了從 Y 維度通過優化開發框架 Spring 來優化系統性能的方法。

今天老兵哥將介紹通過優化對象關係映射 ORM 框架(Hibernate)等來優化系統性能的方法。

4. ORM 框架 Hibernate

對象-關係映射 ORM(Object/Relation Mapping),是伴隨著面向對象軟體開發方法的發展而產生的。面向對象的開發方法是當今企業級應用開發環境中的主流方法,關係資料庫是企業級應用環境中數據永久存儲的主流數據存儲系統。對象和關係是業務實體數據的兩種表現形式,業務實體在記憶體中表現為對象,在資料庫中表現為關係數據。記憶體中的對象之間存在關聯和繼承關係,而在資料庫中,關係數據無法直接表達多對多關聯和繼承關係。

對象-關係映射 ORM 系統通常以中間件的形式存在,藉助描述對象到關係資料庫數據的映射元數據,將記憶體中的對象自動持久化到關係資料庫中,其本質就是將數據從一種形式轉換到另外一種形式。這個轉換過程需要額外的開銷,自然也就存在許多優化的機會,接下來我們一起來看看如何提升 ORM 框架 Hibernate 的性能。 

4.1 批量處理

應用或者 ORM 框架每次執行 SQL 語句都需要跟資料庫建立連接,每次建立連接都需要額外開銷。如果某個事務內部有迴圈多次操作資料庫的場景,那麼將這些操作彙集在一起批量執行,這樣就可以降低損耗,具體如下:

  • 批量插入

使用這種方法時,首先在 Hibernate 的配置文件 hibernate.cfg.xml 中設置批量尺寸屬性 hibernate.jdbc.batch_size ,且最好關閉Hibernate的二級緩存以提高效率。

<hibernate-configuration>
<session-factory>
<property name="hibernate.jdbc.batch_size">50</property> //設置尺寸
<property name="hibernate.cache.use_second_level_cache">false</property> //關閉緩存
<mapping resource="com/itlaobingge/po/User.hbm.xml" /> 
</session-factory>
</hibernate-configuration>

 

public class HibernateDemo {
public static void main(String args[]) {
Session session = HibernateSessionFactory.getSession();
Transaction ts = session.beginTransaction();
for (int i = 0; i < 50; i++) {
User user = new User();
user.setPassword(i);
session.save(user);
if (i%50 == 0) {
// 以 50 為一個批次往資料庫提交,此值應與配置的批量尺寸一致
session.flush();
// 清空緩存區,釋放記憶體供下批數據使用
session.clear(); 
}
}

ts.commit();
HibernateSessionFactory.closeSession();
}
} 
  • 批量更新

為了使 Hibernate 的 HQL 直接支持 update 的批量更新語法,我們需要在 Hibernate 的配置文件 hibernate.cfg.xml 中設置 HQL/SQL 查詢翻譯器屬性 "hibernate.query.factory_class":

<hibernate-configuration>
......
<property name="hibernate.query.factory_class">
org.hibernate.hql.internal.ast.ASTQueryTranslatorFactory
</property>
<mapping resource="com/itlaobingge/po/User.hbm.xml" />
</session-factory>
</hibernate-configuration>

 

public class HibernateDemo {
public static void main(String args[]) {
Session session = HibernateSessionFactory.getSession();
Transaction ts = session.beginTransaction();
Query query = session.createQuery("update User set password='123456'");
query.executeUpdate();
ts.commit();
HibernateSessionFactory.closeSession();
}
}

 

  • 批量刪除

為了使 Hibernate 的 HQL 直接支持 delete 的批量更新語法,我們需要在 Hibernate 的配置文件 hibernate.cfg.xml 中設置 HQL/SQL 查詢翻譯器屬性 "hibernate.query.factory_class":

<hibernate-configuration>
......
<property name="hibernate.query.factory_class">
org.hibernate.hql.internal.ast.ASTQueryTranslatorFactory
</property>
<mapping resource="com/itlaobingge/po/User.hbm.xml" />
</session-factory>
</hibernate-configuration>

 

public class HibernateDemo {
public static void main(String args[]) {
Session session = HibernateSessionFactory.getSession();
Transaction ts = session.beginTransaction();
Query query=session.createQuery("delete User where id < 123");
query.executeUpdate();
ts.commit();
HibernateSessionFactory.closeSession();
}
}

  

4.2 抓取策略

抓取策略是指當應用程式需要在對象關聯關係間進行導航時,Hibernate 如何獲取關聯對象的策略,常見的抓取策略有如下幾種:

  • 鏈接抓取(Join Fetching):通過在 select 語句中使用 out join 來獲取對象的關聯實例或者關聯集合。
  • 查詢抓取(Select Fetching):發送另外一條 select 語句抓取當前對象的關聯實體或者關聯集合。除非我們顯示地指定 lazy=”false” 禁止延遲抓取,否則只有當我們真正訪問了關聯關係時才會執行第二條 select 語句。
  • 子查詢抓取:另外發送一條 select 語句抓取在前面查詢到或抓取到的所有實體對象的關聯集合。除非你顯式的指定 lazy="false" 禁止延遲抓取,否則只有當你真正訪問關聯關係的時候,才會執行第二條 select 語句。
  • 批量抓取(Batch fetching):對查詢抓取的優化方案,通過指定一個主鍵或外鍵列表,Hibernate 使用單條 select 語句獲取一批對象實例或集合。

Hibernate 會區分下列幾種情況:

  • 立即抓取(Immediate fetching):當宿主被載入時,關聯、集合或屬性被立即抓取。
  • 延遲集合抓取(Lazy collectionfetching):直到應用程式對集合進行了一次操作時,集合才被抓取。
  • Extra-lazy 集合抓取(Extra-lazy collection fetching):對集合類中的每個元素而言,都是直到需要時才去訪問資料庫。除非絕對必要,Hibernate 不會試圖去把整個集合都抓取到記憶體里來。
  • 代理抓取(Proxy fetching):對返回單值的關聯而言,當其某個方法被調用,而非對其關鍵字進行 get 操作時才抓取。
  • 非代理抓取(No-proxy fetching):對返回單值的關聯而言,當實例變數被訪問的時候進行抓取。與上面的代理抓取相比,這種方法沒有那麼延遲得厲害,就算只訪問標識符,也會導致關聯抓取,但是更加透明,因為對應用程式來說,不再看到 proxy。這種方法需要在編譯期間進行位元組碼增強操作,因此很少需要用到。
  • 屬性延遲載入(Lazy-attribute fetching):對屬性或返回單值的關聯而言,當其實例變數被訪問的時候進行抓取。需要編譯期位元組碼強化,因此這一方法很少是必要的。

定製合理的抓取策略對系統的性能提升有很大的幫助。查詢抓取在 N+1 查詢的情況下是極其脆弱的,因此我們可能會要求在映射文件中定義連接抓取(fetch=”join”),但是在映射文件中定義的抓取策略將會產生以下影響:通過 get() 或者 load() 方法獲取數據,只有在關聯之間進行導航時,才會隱式的取得數據。

條件查詢,使用了 subselect 抓取的 HQL 查詢,不管使用哪種抓取策略,定義為非延時的類圖會保證裝載入記憶體,這就意味著一條 HQL 查詢後緊跟著一系列的查詢。通常我們並不使用映射文件進行抓取策略的定製,更多是保持其預設值然後在待定事務中適用 HQL 的左連接對其進行重載。

Hibernate 推薦的做法也是最佳實踐:把所有對象關聯的抓取都設為 lazy,然後在特定事務中進行重載。這種考慮是基於對象之間的關聯關係錯綜複雜,有時候哪怕我們只是一個簡單的查詢,也會導致很多關聯對象被裝載出來,所以在 Hibernate 中,所有對象關聯都是 lazy 的。

在 Hibernate 中實施關聯抓取,我們可以定義每次抓取數據的數量,批量地將數據載入記憶體,減少與資料庫交互的次數,在應用程式中可以定義預設的關聯抓取數量。Hibernate 提供了兩種批量抓取方案:

  • 類級別的批量查詢,如果一個 Session 中需要載入 30 個 User 實例,在 User 中擁有一個類 Class 成員變數 class。如果 lazy=“true”,我們需要遍歷整個 user 集合,每一個 user 都需要 getClass(),在預設情況下要執行 30 次查詢得到 Class 對象。因此,可以通過在映射文件的 Class 屬性設置 batch-size,這樣Hibernate 只需要執行兩次查詢即可:
<class name=”Class” batch-size=”15”>...</class>

  

  • 集合級別的批量查詢,如果我們需要遍歷 30 個 Class 對象下所擁有 User 對象列表,在 Session 中需要載入 30 個 Class 對象,遍歷 Class 集合將會引起 30 次查詢,每次查詢都會調用 getUsers()。如果在 Class 的映射定義中,允許對 User 進行批量抓取,則 Hibernate 就會預先載入整個集合。
<set name=”users” batch-size=”15”>...</set> 

 

4.3 二級緩存

緩存可以降低應用程式對物理數據源訪問的頻次,從而提高應用程式的運行性能。緩存對 Hibernate 來說也是很重要的,它使用瞭如下圖所示的多級緩存方案:

  • 一級緩存,第一級緩存是 Session 緩存,屬於強制性緩存,所有請求都必須通過它。Session 對象在它自己的權利之下,在將它提交給資料庫之前保存一個對象。如果你對一個對象發出多個更新,Hibernate 會嘗試儘可能長地延遲更新來減少發出的 SQL 更新語句的數目。如果你關閉 Session,所有緩存的對象丟失,或是存留,或是在資料庫中被更新。
  • 二級緩存,第二級緩存是可選擇的,第一級緩存在任何想要在第二級緩存中找到一個對象前被詢問。第二級緩存可以在每一個類和每一個集合的基礎上被安裝,並且它主要負責跨會話緩存對象。任何第三方緩存都可以和 Hibernate 合作,只要它實現 org.hibernate.cache.CacheProvider 介面。

Hibernate 的二級緩存通過兩個步驟設置:

  • 第一,你必須決定好使用哪個併發策略(Transactional、Read-write、Nonstrict-read-write、Read-only);
  • 第二,你使用第三方緩存提供者來配置緩存到期時間和物理緩存屬性。併發策略,負責保存緩存中的數據項和從緩存中檢索它們,如何選擇併發策略及配置可以查資料。

4.4 查詢緩存

查詢結果集也可以被緩存,只有在經常使用同樣的參數進行查詢時,查詢緩存才會有些用處。如果要使用查詢緩存,你必須打開它:hibernate.cache.use_query_cache,該設置將會創建兩個緩存區域:一個用於保存查詢結果集(org.hibernate.cache.StandardQueryCache);另一個則用於保存最近查詢的一系列表的時間戳(org.hibernate.cache.UpdateTimestampsCache)。

在查詢緩存中,它並不緩存結果集中所包含的實體的確切狀態,它只緩存這些實體的標識符屬性的值、以及各值類型的結果,所以查詢緩存通常會和二級緩存一起使用。絕大多數的查詢並不能從查詢緩存中受益,所以 Hibernate 預設是不進行查詢緩存的。如若需要進行緩存,請調用 Query.setCacheable(true) 方法。這個調用會讓查詢在執行過程中時先從緩存中查找結果,並將自己的結果集放到緩存中去。

 

 

關註「 IT老兵哥 」,賦能程式人生!堅持原創不易,請小伙伴們不吝點個「  」哦!推薦軟技能文章,請點擊鏈接:程式員,怎樣打造個人影響力?

 

 

近期熱評系列《 程式員必須懂的架構師入門課 》:


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 趕快打開微信開發工具,快速進到項目視窗中。展開pages,展開index,展開logs,展開utils,展開一切可以展開的。唯有如此,方能見到整個項目的全貌。項目中,工程配置文件project.config.json,可用來配置appid、項目名稱、調試基礎庫,還有雲開發的文件夾路徑,至於其他的,幾... ...
  • 圓角矩形介紹 在 中通過 屬性可以實現元素的圓角矩形。 屬性值一共有 個,左上、右上、左下、右下。 屬性值規則如下:第一個值為左上、第二個值為右上、第三個值為左下、第四個值為右下。 假如 屬性值都是一致的我可以設置一個屬性值即可。 圓角矩形實踐 圓角矩形基本使用方式 如果我們的 屬性值一致實踐。 如 ...
  • 起步 下載模板: 初始化項目: 將 文件內容替換如下: 安裝模板依賴的樣式文件: 在 文件中導入樣式文件: 看到如下頁面說明成功。 ...
  • todolist小案例 "該案例的模板文件下載地址" 走外國伺服器, ̄□ ̄|| app.module.ts 核心組件app.component.ts 發現這倆不是同一類文件,哈哈哈,٩(๑ ◡ !t.done) } else if (this.visibility === 'completed') ...
  • Node.js簡介 Node.js是一個能夠在伺服器端運行JavaScript的開源代碼、跨平臺JavaScript運行環境 Node採用Google開發的V8引擎運行js代碼,使用事件驅動、非阻塞和非同步I/O模型等技術來提高性能,可優化應用程式的傳輸量和規模 Node大部分基本模塊都用JavaSp ...
  • 前言 最近在學習研究 Nest 框架,但是在學習過程中除了參考翻閱官方文檔外國內幾乎沒有多少資料能系統的講解 Nest 的相關內容,所以打算想通過我自己學習的角度講解下 Nest 框架,不知道能堅持多久,也可能有錯誤或遺漏的地方,歡迎大家批評指正。 下麵我學習 Nest 的主要信息來源,在編寫過程中 ...
  • 7)onloadonload就是等頁面載入完後才執行。例 3.7.1<HEAD> <meta http-equiv="content-type" content="text/html; charset=utf-8"/> <SCRIPT LANGUAGE="JavaScript"> <!-- func ...
  • Vue開發環境跨域訪問其他伺服器或者本機其他埠,需要配置項目中config/index.js文件,修改如下 module.exports = { dev: { // Paths assetsSubDirectory: 'static', assetsPublicPath: '/', proxyTa ...
一周排行
    -Advertisement-
    Play Games
  • 前言 在我們開發過程中基本上不可或缺的用到一些敏感機密數據,比如SQL伺服器的連接串或者是OAuth2的Secret等,這些敏感數據在代碼中是不太安全的,我們不應該在源代碼中存儲密碼和其他的敏感數據,一種推薦的方式是通過Asp.Net Core的機密管理器。 機密管理器 在 ASP.NET Core ...
  • 新改進提供的Taurus Rpc 功能,可以簡化微服務間的調用,同時可以不用再手動輸出模塊名稱,或調用路徑,包括負載均衡,這一切,由框架實現並提供了。新的Taurus Rpc 功能,將使得服務間的調用,更加輕鬆、簡約、高效。 ...
  • 順序棧的介面程式 目錄順序棧的介面程式頭文件創建順序棧入棧出棧利用棧將10進位轉16進位數驗證 頭文件 #include <stdio.h> #include <stdbool.h> #include <stdlib.h> 創建順序棧 // 指的是順序棧中的元素的數據類型,用戶可以根據需要進行修改 ...
  • 前言 整理這個官方翻譯的系列,原因是網上大部分的 tomcat 版本比較舊,此版本為 v11 最新的版本。 開源項目 從零手寫實現 tomcat minicat 別稱【嗅虎】心有猛虎,輕嗅薔薇。 系列文章 web server apache tomcat11-01-官方文檔入門介紹 web serv ...
  • C總結與剖析:關鍵字篇 -- <<C語言深度解剖>> 目錄C總結與剖析:關鍵字篇 -- <<C語言深度解剖>>程式的本質:二進位文件變數1.變數:記憶體上的某個位置開闢的空間2.變數的初始化3.為什麼要有變數4.局部變數與全局變數5.變數的大小由類型決定6.任何一個變數,記憶體賦值都是從低地址開始往高地 ...
  • 如果讓你來做一個有狀態流式應用的故障恢復,你會如何來做呢? 單機和多機會遇到什麼不同的問題? Flink Checkpoint 是做什麼用的?原理是什麼? ...
  • C++ 多級繼承 多級繼承是一種面向對象編程(OOP)特性,允許一個類從多個基類繼承屬性和方法。它使代碼更易於組織和維護,並促進代碼重用。 多級繼承的語法 在 C++ 中,使用 : 符號來指定繼承關係。多級繼承的語法如下: class DerivedClass : public BaseClass1 ...
  • 前言 什麼是SpringCloud? Spring Cloud 是一系列框架的有序集合,它利用 Spring Boot 的開發便利性簡化了分散式系統的開發,比如服務註冊、服務發現、網關、路由、鏈路追蹤等。Spring Cloud 並不是重覆造輪子,而是將市面上開發得比較好的模塊集成進去,進行封裝,從 ...
  • class_template 類模板和函數模板的定義和使用類似,我們已經進行了介紹。有時,有兩個或多個類,其功能是相同的,僅僅是數據類型不同。類模板用於實現類所需數據的類型參數化 template<class NameType, class AgeType> class Person { publi ...
  • 目錄system v IPC簡介共用記憶體需要用到的函數介面shmget函數--獲取對象IDshmat函數--獲得映射空間shmctl函數--釋放資源共用記憶體實現思路註意 system v IPC簡介 消息隊列、共用記憶體和信號量統稱為system v IPC(進程間通信機制),V是羅馬數字5,是UNI ...