一次通過dump文件分析OutOfMemoryError異常代碼定位過程

来源:https://www.cnblogs.com/r0ad/p/18175575
-Advertisement-
Play Games

OutOfMemoryError是Java程式中常見的異常，通常出現在記憶體不足時，導致程式無法運行。藉助MAT記憶體分析工具分析可能的記憶體泄漏代碼問題定位。 ...


OutOfMemoryError是Java程式中常見的異常，通常出現在記憶體不足時，導致程式無法運行。

當出現OutOfMemoryError異常時，可能的現象是這樣的。

  • 程式異常終止：OutOfMemoryError 通常會導致程式異常終止。JVM 無法為新對象分配記憶體時，會拋出該異常。
  • 堆記憶體不足：OutOfMemoryError 表示堆記憶體不足以為新對象分配空間。這可能會導致應用程式無法繼續正常運行。
  • 記憶體泄漏：OutOfMemoryError 有時會暗示存在記憶體泄漏問題。即使沒有明顯的記憶體泄漏，也可能是應用程式中某些對象持續增加，導致堆空間耗盡。
  • 堆轉儲文件：在拋出 OutOfMemoryError 異常時，JVM 可能會生成一個堆轉儲文件（heap dump），記錄當前堆記憶體的狀態。可以使用該文件來分析記憶體使用情況和定位問題。
  • 性能下降：在出現記憶體不足的情況下，應用程式可能會經歷性能下降，因為 JVM 可能會頻繁執行垃圾回收以嘗試釋放記憶體。
  • 日誌記錄： 日誌文件中發現 OutOfMemoryError 。異常消息通常會包含一些有關記憶體分配失敗的信息，例如 "Java heap space"（堆空間不足）或 "GC overhead limit exceeded"（垃圾回收開銷過大）。
  • 程式假死：當 JVM 的堆空間不足以分配新對象時，可能會觸發垃圾回收。如果垃圾回收器嘗試回收記憶體但無法釋放足夠的空間，或者由於頻繁的垃圾回收導致系統資源被耗盡，程式可能會出現假死狀態。表現為進程還在，但是無響應、長時間停頓。

可能的堆棧信息是這樣的。

Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
	at demo.OOMDemo.main(OOMDemo.java:22)

藉助MAT工具和記憶體泄漏產生的dump文件可以分析可能的記憶體泄漏代碼問題定位。

什麼是OutOfMemoryError異常

在 Java 中，OutOfMemoryError 是一種錯誤（Error），而不是異常（Exception）。

它表示 Java 虛擬機（JVM）已經耗盡了可用的記憶體資源，無法再分配給新的對象，導致程式無法繼續執行。

OutOfMemoryError 可能由以下幾種情況引起：

  • 堆記憶體溢出（Heap Space）：當 Java 程式中創建了太多的對象，而堆記憶體無法滿足這些對象的需求時，就會發生堆記憶體溢出。這通常是因為程式中存在記憶體泄漏（Memory Leak）或者處理大量數據時沒有及時釋放記憶體導致的。
  • 方法區溢出（PermGen Space 或 Metaspace）：Java 虛擬機中的方法區用於存儲類的元數據信息、靜態變數、常量池等數據。當載入的類過多或者字元串常量過多時，方法區可能會溢出。在 Java 8 及之前的版本中使用的是 PermGen Space（永久代），而在 Java 8 及之後的版本中使用的是 Metaspace。溢出時會拋出相應的錯誤：PermGen space 或 Metaspace。
  • 棧溢出（Stack Overflow）：每個線程在 Java 虛擬機中都有自己的棧空間，用於存儲方法的調用棧信息。當遞歸調用層級過深或者方法調用過多時，棧空間可能會溢出，導致棧溢出錯誤。
  • 直接記憶體溢出：使用 NIO（New Input/Output）庫進行 IO 操作時，可能會使用到直接記憶體（Direct Memory）。如果程式中頻繁申請直接記憶體而沒有及時釋放，可能會導致直接記憶體溢出。

什麼是dump文件

在 Java 中，Dump 文件是指在程式發生嚴重問題（比如崩潰或者出現記憶體溢出等）時，用於記錄當前 JVM 運行狀態的文件。Dump 文件可以包含有關 JVM 運行時的診斷信息，例如記憶體使用情況、線程堆棧信息、對象實例信息等，有助於開發人員分析問題並定位 bug。

通常情況下，Dump 文件主要用於以下幾種情況：

  • 記憶體溢出（OutOfMemoryError）問題分析：當程式發生記憶體溢出錯誤時，可以生成 Dump 文件以便後續分析。Dump 文件中包含了記憶體堆的快照，可以查看堆中對象的分佈情況，幫助開發人員找出造成記憶體溢出的原因。
  • JVM 崩潰問題分析：當 JVM 運行時發生崩潰，無法正常工作時，可以生成 Dump 文件以便排查問題。Dump 文件中包含了 JVM 運行時的狀態信息，例如線程狀態、堆棧信息等，有助於分析問題的根本原因。
  • 性能調優和分析：在進行性能調優時，Dump 文件可以提供有關 JVM 運行時的詳細信息，例如線程的 CPU 占用情況、記憶體使用情況等，有助於分析程式的瓶頸併進行優化。

生成 Dump 文件通常需要使用 JVM 提供的工具或者命令行參數。例如，可以使用以下 JVM 參數來指定在發生 OutOfMemoryError 時生成 Dump 文件：

-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=heapdump.log

生成的 Dump 文件通常是二進位格式的文件，可以使用專門的工具（如 Eclipse Memory Analyzer）來打開和分析。

通過分析 Dump 文件，開發人員可以更好地理解程式的運行情況，並找出問題所在。

什麼是MAT工具

MAT（Memory Analyzer Tool）是一個用於 Java 應用程式記憶體分析的強大工具。它是一個開源項目，由 Eclipse 基金會提供支持。MAT 的主要功能是幫助開發人員分析 Java 程式的記憶體使用情況，特別是用於識別和解決記憶體泄漏問題。

MAT 工具可以幫助開發人員解決以下類型的問題：

  • 記憶體泄漏分析：MAT 可以通過分析 Java 堆轉儲（Heap Dump）文件來識別記憶體泄漏問題。它可以顯示對象實例之間的引用關係，並幫助開發人員找出未被正確釋放的對象，從而定位記憶體泄漏的根本原因。
  • 記憶體使用情況分析：MAT 可以提供詳細的記憶體使用情況報告，包括對象實例數量、對象大小、對象引用關係等信息。這有助於開發人員瞭解 Java 應用程式的記憶體使用模式，併進行優化。
  • GC 日誌分析：MAT 可以分析 JVM 輸出的垃圾回收（GC）日誌文件，幫助開發人員瞭解 GC 活動的情況，包括 GC 頻率、停頓時間、對象分配速率等信息。
  • 線程分析：MAT 可以提供線程轉儲（Thread Dump）文件的分析，幫助開發人員識別死鎖、線程阻塞等問題，並定位問題的原因。

MAT 提供了一個直觀的用戶界面，可以通過圖形化界面進行記憶體分析和問題定位。它還提供了一系列的分析工具和報告，幫助開發人員深入理解 Java 應用程式的記憶體行為。

搜索引擎搜索 Eclipse Memory Analyzer Tool可以找到下載鏈接。（外鏈審核很嚴格~~）

異常發生了定位異常代碼

使用 MAT 定位 OutOfMemoryError（OOM）的過程通常包括以下步驟：

收集堆轉儲文件：首先，需要在發生 OutOfMemoryError 異常時收集 Java 應用程式的堆轉儲文件。可以通過在 JVM 啟動參數中添加 -XX:+HeapDumpOnOutOfMemoryError 來實現，在發生 OOM 異常時會自動生成堆轉儲文件。

打開 MAT 工具：打開 Memory Analyzer Tool（MAT）工具，並導入之前收集到的堆轉儲文件。通常，堆轉儲文件的格式是 .hprof。

執行記憶體分析：在 MAT 中，可以執行各種記憶體分析操作，以定位導致 OutOfMemoryError 異常的原因。以下是一些常見的分析步驟：

  • 記憶體泄漏分析：使用 MAT 的 Leak Suspects 或 Dominator Tree 功能來查找可能導致記憶體泄漏的對象或對象組。這些功能會顯示對象實例之間的引用關係，幫助確定哪些對象未被正確釋放。
  • 對象分佈分析：查看對象分佈報告，瞭解不同類型的對象在堆中的分佈情況。這有助於確定哪些類型的對象占用了大量的記憶體空間。
  • 最大對象分析：使用 Histogram 功能查看堆中最大的對象實例，這些對象可能是導致記憶體問題的主要原因。
  • 執行代碼路徑分析：如果堆轉儲文件包含了足夠的信息，MAT 可以嘗試生成代碼路徑以幫助確定哪些代碼路徑導致了記憶體問題。

定位異常代碼：在進行記憶體分析的過程中，可以嘗試定位導致 OutOfMemoryError 異常的相關代碼。根據分析結果，可以查看對象的引用關係，確定哪些代碼路徑導致了記憶體泄漏或者記憶體消耗過大的問題。

異常沒有發生定位異常代碼

異常沒有發生定位異常代碼，需要通過jmap生成dump文件。

然後將其導入到 MAT 中進行分析。以下是生成堆轉儲文件的步驟：

  • 確定 Java 進程 ID：首先，需要確定正在運行的 Java 進程的進程 ID（PID）。可以使用 jps 命令查看正在運行的 Java 進程及其 PID。
  • 生成堆轉儲文件：使用 jmap 命令生成堆轉儲文件。命令格式如下：
jmap -dump:file=<文件路徑> <PID>

例如，要生成名為 heapdump.hprof 的堆轉儲文件，可以執行以下命令：

jmap -dump:file=heapdump.hprof <PID>

這將在當前工作目錄下生成一個名為 heapdump.hprof 的堆轉儲文件。

  • 導入堆轉儲文件到 MAT：將生成的堆轉儲文件導入到 MAT 中進行分析。打開 MAT，然後選擇 File -> Open Heap Dump，然後選擇生成的堆轉儲文件。
  • 執行記憶體分析：一旦堆轉儲文件被導入到 MAT 中，就可以執行記憶體分析，按照前面提到的步驟來查找記憶體問題。

通過這些步驟可以手動生成堆轉儲文件並使用 MAT 進行分析，即使沒有在 OutOfMemoryError 發生時自動生成堆轉儲文件也可以找到問題所在。

驗證demo

首先通過一段測試代碼來模擬OutOfMemoryError異常。


import java.util.ArrayList;
import java.util.List;

/**
 * 用於驗證oom異常
 * jvm啟動參數  -Xmx200m -Xms200m -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=heapdump.hprof
 *
 * @author nine
 * @since 1.0
 */
public class OOMDemo {

    public static void main(String[] args) {
        List<Object> listMock = new ArrayList<>();
        List<Object> list = new ArrayList<>();
        while (true) {
            // 此處代碼用於創造oom錯誤
            list.add(new byte[10]);
            // 此處代碼是干擾代碼，因為清空了變數不會記憶體泄漏
            listMock.add(new byte[5]);
            listMock.clear();
        }
    }
}

啟動程式運行，增加jvm參數 -Xmx200m -Xms200m -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=heapdump.hprof。其中堆記憶體大小為200M，便於復現問題。

等待一段時間後，程式會拋出OutOfMemoryError異常。

java.lang.OutOfMemoryError: Java heap space
Dumping heap to heapdump.hprof ...
Heap dump file created [212763268 bytes in 0.572 secs]
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
	at demo.OOMDemo.main(OOMDemo.java:20)

同時可以在classpath下看到heapdump.hprof堆轉儲文件。

打開MAT，選擇 File>Open Heap Dump>選擇heapdump.hprof>Leak Suspects Report。

MAT會分析可能的幾個問題，標題是 Problem Suspect 1等。

由於此處只有一段代碼，分析出來的問題也就一個可能問題。

The thread java.lang.Thread @ 0xf45310d0 main keeps local variables with total size 204,667,384 (98.35%) bytes.
The memory is accumulated in one instance of “java.lang.Object[]”, loaded by “<system class loader>”, which occupies 204,666,704 (98.35%) bytes.
Significant stack frames and local variables
•demo.OOMDemo.main([Ljava/lang/String;)V (OOMDemo.java:20)◦java.util.ArrayList @ 0xf45930a8 retains 204,666,728 (98.35%) bytes


The stacktrace of this Thread is available. See stacktrace. See stacktrace with involved local variables.

Keywords
java.lang.Object[]
demo.OOMDemo.main([Ljava/lang/String;)V
OOMDemo.java:20

Details »

點擊See stacktrace鏈接可以看到堆棧信息。

main
  at java.lang.OutOfMemoryError.<init>()V (OutOfMemoryError.java:48)
  at demo.OOMDemo.main([Ljava/lang/String;)V (OOMDemo.java:20)

這也就是發生異常的代碼位置。通過修改第20行代碼，將list.add(new byte[10])註釋掉，可以發現oom錯誤消失。

註：一般堆轉儲文件很大，可能需要mat的啟動參數來進行大文件分析。

# 打開 MemoryAnalyzer.ini 文件
# 修改啟動參數為 -Xmx2048m
-startup
plugins/org.eclipse.equinox.launcher_1.6.600.v20231106-1826.jar
--launcher.library
plugins/org.eclipse.equinox.launcher.win32.win32.x86_64_1.2.800.v20231003-1442
-vmargs
--add-exports=java.base/jdk.internal.org.objectweb.asm=ALL-UNNAMED
-Xmx2048m

發生OutOfMemoryError的解決辦法

解決 OutOfMemoryError 異常的方法取決於具體情況和根本原因。

  • 分析堆轉儲文件：當發生 OutOfMemoryError 異常時，可以生成堆轉儲文件，通過分析該文件來定位記憶體泄漏或者記憶體使用過多的原因。
  • 優化代碼：檢查代碼中是否存在記憶體泄漏或者不必要的對象持有，優化數據結構和演算法以減少記憶體使用量。特別是要註意避免在迴圈中創建大量臨時對象，及時釋放不再需要的對象引用。
  • 檢查第三方庫：某些第三方庫可能存在記憶體泄漏或者記憶體占用過大的問題，需要對其進行檢查和優化，或者考慮更換其他庫。
  • 使用更高效的數據結構和演算法：選擇更適合場景的數據結構和演算法，以減少記憶體使用量和提高性能。
  • 分析記憶體使用情況：定期監控應用程式的記憶體使用情況，及時發現潛在的問題並採取相應措施。
  • 使用更輕量級的解決方案：有時可以考慮使用更輕量級的框架或工具，以減少記憶體消耗。

再者可以優化記憶體參數：

  • 增加堆記憶體：通過增加 JVM 的堆記憶體大小來提供更多的記憶體空間。可以通過調整 -Xmx 和 -Xms 參數來增加堆記憶體的最大和初始大小。但需要註意，過大的堆記憶體可能會導致垃圾回收時間過長，影響程式性能。
  • 增加物理記憶體：如果是物理機器記憶體不足導致的 OutOfMemoryError，可以考慮增加物理記憶體來解決問題。

關於作者

來自一線全棧程式員nine的探索與實踐，持續迭代中。

歡迎關註或者點個小紅心~


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 【動畫進階】巧用 CSS/SVG 實現複雜線條光效動畫
    最近，群里在討論一個很有意思的線條動畫效果，效果大致如下： 簡單而言，就是線條沿著不規則路徑的行進動畫，其中的線條動畫可以理解為是特殊的光效。 本文，我們將一起探索，看看在不使用 JavaScript/Canvas 的基礎上，使用純 CSS/SVG 的方式，我們可以如何大致的還原上述的線條動畫效果。 ...
  • vue3早已具備拋棄虛擬DOM的能力了
    前言 jquery時代更新視圖是直接對DOM進行操作，缺點是頻繁操作真實 DOM，性能差。react和vue時代引入了虛擬DOM，更新視圖是對新舊虛擬DOM樹進行一層層的遍歷比較，然後找出需要更新的DOM節點進行更新。這樣做的缺點就是如果DOM樹很複雜，在進行新舊DOM樹比較的時候性能就比較差了。那 ...
  • WEB安全~X-Frame-Options
    X-Frame-Options 是一個HTTP響應頭，用於控制網頁是否可以嵌套在 <frame>, <iframe>, <embed> 或者 <applet> 中。通過設置 X-Frame-Options 頭部，網站管理員可以防止網頁被嵌套到其他網站的框架中，從而有效防範點擊劫持等安全風險。下麵是關 ...
  • 順序表的實現
    /******************************************************************************************************** * * file name: Zqh_順序表.c * author : keyword2 ...
  • 深入探究C++ 類成員（Class Members）
    一、定義 在class的聲明裡頭，真正有用的兩樣東西是data members 和 member functions： Data members：表示根據這個class所產生的object裡頭會有些什麼東西，它事實上也是占據object記憶體的唯一東西（除非引入虛擬機制）。通常為數據的封裝性，我們把d ...
  • Django高級表單處理與驗證實戰
    title: Django高級表單處理與驗證實戰 date: 2024/5/6 20:47:15 updated: 2024/5/6 20:47:15 categories: 後端開發 tags: Django表單 驗證邏輯 模板渲染 安全措施 表單測試 重定向管理 最佳實踐 引言： 在Web應用開 ...
  • NumPy 數組創建方法與索引訪問詳解
    NumPy 創建數組 NumPy 中的核心數據結構是 ndarray，它代表多維數組。NumPy 提供了多種方法來創建 ndarray 對象，包括： 使用 array() 函數 array() 函數是最常用的方法之一，它可以將 Python 列表、元組甚至其他數組轉換為 ndarray 對象。 語法 ...
  • 刪除A中與B相同的元素
    刪除A中與B相同的元素 目錄刪除A中與B相同的元素程式驗證輸出結果 程式 #include <stdio.h> /******************************************************************* * * file name: 刪除A中與B相同的元 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類