由dubbo服務禁用system.gc而引起的思考

来源:https://www.cnblogs.com/mantu/archive/2019/02/20/10409637.html
-Advertisement-
Play Games

我一直都有一個疑問,豐巢業務服務的生產環境jvm參數設置是禁止system.gc的,也就是開啟設置:-XX:+DisableExplicitGC,但是生產環境卻從來沒有出現過堆外記憶體溢出的情況。說明一下,豐巢使用了阿裡開源的dubbo,而dubbo底層通信預設情況下使用了3.2.5.Final版本的 ...


我一直都有一個疑問,豐巢業務服務的生產環境jvm參數設置是禁止system.gc的,也就是開啟設置:-XX:+DisableExplicitGC,但是生產環境卻從來沒有出現過堆外記憶體溢出的情況。說明一下,豐巢使用了阿裡開源的dubbo,而dubbo底層通信預設情況下使用了3.2.5.Final版本的netty,而我們對於netty的常規認知里,netty一定是使用了堆外記憶體,並且堆外記憶體在禁止了system.gc這個函數調用的話,在服務沒有主動回收分配的堆外記憶體的情況下,一定會出現堆外記憶體的泄露。帶著這個問題,剛好前天晚上有些時間,研究了一下3.2.5版本的netty源碼,又是在科興科興園等饅頭媽媽時候,發現了秘密之所在,我只能說,科興科學園真是我的寶地啊。   涉及到的netty類:NioWorker、HeapChannelBufferFactory、BigEndianHeapChannelBuffer、SocketReceiveBufferPool   核心的秘密在SocketReceiveBufferPool中
 1 final class SocketReceiveBufferPool {
 2 
 3     private static final int POOL_SIZE = 8;
 4 
 5     @SuppressWarnings("unchecked")
 6     private final SoftReference<ByteBuffer>[] pool = new SoftReference[POOL_SIZE];
 7 
 8     SocketReceiveBufferPool() {
 9         super();
10     }
11 
12     final ByteBuffer acquire(int size) {
13         final SoftReference<ByteBuffer>[] pool = this.pool;
14         for (int i = 0; i < POOL_SIZE; i ++) {
15             SoftReference<ByteBuffer> ref = pool[i];
16             if (ref == null) {
17                 continue;
18             }
19 
20             ByteBuffer buf = ref.get();
21             if (buf == null) {
22                 pool[i] = null;
23                 continue;
24             }
25 
26             if (buf.capacity() < size) {
27                 continue;
28             }
29 
30             pool[i] = null;
31 
32             buf.clear();
33             return buf;
34         }
35 
36         ByteBuffer buf = ByteBuffer.allocateDirect(normalizeCapacity(size));
37         buf.clear();
38         return buf;
39     }
40 
41     final void release(ByteBuffer buffer) {
42         final SoftReference<ByteBuffer>[] pool = this.pool;
43         for (int i = 0; i < POOL_SIZE; i ++) {
44             SoftReference<ByteBuffer> ref = pool[i];
45             if (ref == null || ref.get() == null) {
46                 pool[i] = new SoftReference<ByteBuffer>(buffer);
47                 return;
48             }
49         }
50 
51         // pool is full - replace one
52         final int capacity = buffer.capacity();
53         for (int i = 0; i< POOL_SIZE; i ++) {
54             SoftReference<ByteBuffer> ref = pool[i];
55             ByteBuffer pooled = ref.get();
56             if (pooled == null) {
57                 pool[i] = null;
58                 continue;
59             }
60 
61             if (pooled.capacity() < capacity) {
62                 pool[i] = new SoftReference<ByteBuffer>(buffer);
63                 return;
64             }
65         }
66     }
67 
68     private static final int normalizeCapacity(int capacity) {
69         // Normalize to multiple of 1024
70         int q = capacity >>> 10;
71         int r = capacity & 1023;
72         if (r != 0) {
73             q ++;
74         }
75         return q << 10;
76     }
77 }
SocketReceiveBufferPool中維護了一個SoftReference<ByteBuffer>類型的數組,關於java的SoftReference,大家可以自行搜索。其實就是在此類中維護了一個directbuffer的記憶體池,此部分的記憶體是可以重覆利用的。那麼問題來了,如果我們把netty用於接收網路信息的directbuffer直接傳給dubbo的業務代碼,那麼這個記憶體池的作用是什麼呢,記憶體如何被release回記憶體池?帶著這個疑問,繼續分析調用了SocketReceiveBufferPool的NioWorker代碼。
 1     private boolean read(SelectionKey k) {
 2         final SocketChannel ch = (SocketChannel) k.channel();
 3         final NioSocketChannel channel = (NioSocketChannel) k.attachment();
 4 
 5         final ReceiveBufferSizePredictor predictor =
 6             channel.getConfig().getReceiveBufferSizePredictor();
 7         final int predictedRecvBufSize = predictor.nextReceiveBufferSize();
 8 
 9         int ret = 0;
10         int readBytes = 0;
11         boolean failure = true;
12 
13         ByteBuffer bb = recvBufferPool.acquire(predictedRecvBufSize);
14         15         try {
16             while ((ret = ch.read(bb)) > 0) {
17                 readBytes += ret;
18                 if (!bb.hasRemaining()) {
19                     break;
20                 }
21             }
22             failure = false;
23         } catch (ClosedChannelException e) {
24             // Can happen, and does not need a user attention.
25         } catch (Throwable t) {
26             fireExceptionCaught(channel, t);
27         }
28 
29         if (readBytes > 0) {
30             bb.flip();
31 
32             final ChannelBufferFactory bufferFactory =
33                 channel.getConfig().getBufferFactory();
34             final ChannelBuffer buffer = bufferFactory.getBuffer(readBytes);
35             buffer.setBytes(0, bb);
36             buffer.writerIndex(readBytes);
37             //if(buffer instanceof BigEndianHeapChannelBuffer){
38             //    logger2.info("buffer instanceof BigEndianHeapChannelBuffer.");
39             //}
40             recvBufferPool.release(bb);
41 
42             // Update the predi||\\|||||
43             predictor.previousReceiveBufferSize(readBytes);
44 
45             // Fire the event.
46             fireMessageReceived(channel, buffer);
47         } else {
48             recvBufferPool.release(bb);
49         }
50 
51         if (ret < 0 || failure) {
52             k.cancel(); // Some JDK implementations run into an infinite loop without this.
53             close(channel, succeededFuture(channel));
54             return false;
55         }
56 
57         return true;
58     }
在代碼里發現了netty會再創造一個chanelbuffer對象,然後將directbuffer里的內容複製到chanelbuffer裡面,而這個chanelbuffer對象實際上是一個堆內記憶體,然後netty會真對這塊記憶體進行解碼及返回給上層調用服務等,也就是說沒有直接將directbuffer返回給dubbo服務,這樣也就解釋了,我們在提供dubbo服務的jvm里,禁止掉了system.gc的情況下,沒有發生過堆外記憶體泄漏的原因。後面我會找時間詳細的分析一下netty4和kafka使用directbuffer的情況。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 表格用來處理表格式數據的,不是用來佈局的。 一、基本語法格式 <table> <tr> 行標簽 <td></td> 單元格標簽 </tr> </table> 二、表格註意事項 <tr>里只放<td>標簽 <td>里可以放所有元素 三、表格屬性 在table中設置 boder: 預設border="0 ...
  • 在項目中,時常需要獲取本機的Ip或是Mac地址,進行身份和許可權驗證,本文就是通過java代碼獲取ip和Mac。 package com.svse.query;import java.net.InetAddress;import java.net.NetworkInterface;import jav ...
  • 1、使用位元組流每次讀寫單個位元組 2、使用位元組流每次讀寫多個位元組 3、使用位元組緩衝流每次讀寫單個位元組 4、使用位元組緩衝流每次讀寫多個位元組 ...
  • 在腳本中如何進行Django的運行 if __name__ == '__main__': import os import django os.environ.setdefault("DJANGO_SETTINGS_MODULE","orm69.settings") django.setup() #... ...
  • SpringBoot自定義異常以及異常處理 在web項目中,我們可能需要給前端返回不同的提示碼。例如:401表示沒有許可權,500代表位置異常,200代表請求成功等。但是這些提示碼遠遠不能滿足我們返回給前端的提示,可能還需要我們自定義錯誤碼給前端,前端獲取相應的錯誤碼以及錯誤信息,展示到頁面中。 使用 ...
  • 實現一個函數,使其能將字元串轉換成整數。 首先,該函數會根據需要丟棄無用的開頭空格字元,直到尋找到第一個非空格的字元為止。 當我們尋找到的第一個非空字元為正或者負號時,則將該符號與之後面儘可能多的連續數字組合起來,作為該整數的正負號;假如第一個非空字元是數字,則直接將其與之後連續的數字字元組合起來, ...
  • 1 搭建springboot 2 配置pom依賴(springboot版本為2.1.3) 3 寫一個controller類 4 SpringBootApplication中增加註解ComponentScan,並啟動 5 啟動測試 http://localhost:8080/index 5.1 開啟驗 ...
  • 在寫代碼過程中,我們修改代碼中寄存器的值,但是有時寄存器的數據較多,手動修改容易出現錯誤而且花費的時間長 這是一段寄存器的配置值: 0x00, 0x34 0x35, 0x25 0x10, 0xd4 0xf5, 0xa5 0x00, 0x34 0x3a, 0xff 0x00, 0x00 0x34, 0 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...