Go map 竟然也會發生記憶體泄漏?

来源:https://www.cnblogs.com/qcrao-2018/archive/2022/11/13/16885760.html
-Advertisement-
Play Games

Go 程式運行時,有些場景下會導致進程進入某個“高點”,然後就再也下不來了。 比如,多年前曹大寫過的一篇文章講過,在做活動時線上涌入的大流量把 goroutine 數抬升了不少,流量恢復之後 goroutine 數也沒降下來,導致 GC 的壓力升高,總體的 CPU 消耗也較平時上升了 2 個點左右。 ...


Go 程式運行時,有些場景下會導致進程進入某個“高點”,然後就再也下不來了。

比如,多年前曹大寫過的一篇文章講過,在做活動時線上涌入的大流量把 goroutine 數抬升了不少,流量恢復之後 goroutine 數也沒降下來,導致 GC 的壓力升高,總體的 CPU 消耗也較平時上升了 2 個點左右。

有一個 issue 討論為什麼 allgs(runtime 中存儲所有 goroutine 的一個全局 slice) 不收縮,一個好處是:goroutine 復用,讓 goroutine 的創建更加得便利,而這也正是 Go 語言的一大優勢。

最近在看《100 mistakes》,書里專門有一節講 map 的記憶體泄漏。其實這也是另一個在經歷大流量後,無法“恢復”的例子:map 占用的記憶體“只增不減”。

之前寫過的一篇《深度解密 Go 語言之 map》里講到過 map 的內部數據結構,並且分析過創建、遍歷、刪除的過程。

在 Go runtime 層,map 是一個指向 hmap 結構體的指針,hmap 里有一個欄位 B,它決定了 map 能存放的元素個數。

hamp 結構體代碼如下:

type hmap struct {
	count     int
	flags     uint8
	B         uint8
	
	// ...
}

若我們想初始化一個長度為 100w 元素的 map,B 是多少呢?

用 B 可以計算 map 的元素個數:loadfactor * 2^B,loadfactor 目前是 6.5,當 B=17 時,可放 851,968 個元素;當 B=18,可放 1,703,936 個元素。因此當我們將 map 的長度初始化為 100w 時,B 的值應是 18。

loadfactor 是裝載因數,用來衡量平均一個 bucket 里有多少個 key。

如何查看占用的記憶體數量呢?用 runtime.MemStats:

package main

import (
	"fmt"
	"runtime"
)

const N = 128

func randBytes() [N]byte {
	return [N]byte{}
}

func printAlloc() {
	var m runtime.MemStats
	runtime.ReadMemStats(&m)
	fmt.Printf("%d MB\n", m.Alloc/1024/1024)
}

func main() {
	n := 1_000_000
	m := make(map[int][N]byte, 0)
	printAlloc()

	for i := 0; i < n; i++ {
		m[i] = randBytes()
	}
	printAlloc()
	
	for i := 0; i < n; i++ {
		delete(m, i)
	}
	
	runtime.GC()
	printAlloc()
	runtime.KeepAlive(m)
}

如果不加最後的 KeepAlive,m 會被回收掉。

當 N = 128 時,運行程式:

$ go run main2.go
0 MB
461 MB
293 MB

可以看到,當刪除了所有 kv 後,記憶體占用依然有 293 MB,這實際上是創建長度為 100w 的 map 所消耗的記憶體大小。當我們創建一個初始長度為 100w 的 map:

package main

import (
	"fmt"
	"runtime"
)

const N = 128

func printAlloc() {
	var m runtime.MemStats
	runtime.ReadMemStats(&m)
	fmt.Printf("%d MB\n", m.Alloc/1024/1024)
}

func main() {
	n := 1_000_000
	m := make(map[int][N]byte, n)
	printAlloc()

	runtime.KeepAlive(m)
}

運行程式,得到 100w 長度的 map 的消耗的記憶體為:

$ go run main3.go
293 MB

這時有一個疑惑,為什麼在向 map 寫入了 100w 個 kv 之後,占用記憶體變成了 461MB?

我們知道,當 val 大小 <= 128B 時,val 其實是直接放在 bucket 里的,按理說,寫入 kv 與否,這些 bucket 占用的記憶體都在那裡。換句話說,寫入 kv 之後,占用的記憶體應該還是 293MB,實際上卻是 461MB。

這裡的原因其實是在寫入 100w kv 期間 map 發生了擴容,buckets 進行了搬遷。我們可以用 hack 的方式列印出 B 值:

func main() {
	//...

	var B uint8
	for i := 0; i < n; i++ {
		curB := *(*uint8)(unsafe.Pointer(uintptr(unsafe.Pointer(*(**int)(unsafe.Pointer(&m)))) + 9))
		if B != curB {
			fmt.Println(curB)
			B = curB
		}

		m[i] = randBytes()
	}

	//...

	runtime.KeepAlive(m)
}

運行程式,B 值從 1 一直變到 18。搬遷的過程可以參考前面提到的那篇 map 文章,這裡不再贅述。

而如果我們初始化的時候直接將 map 的長度指定為 100w,那記憶體變化情況為:

293 MB
293 MB
293 MB

當 val 小於 128B 時,初始化 map 後記憶體占用量一直不變。原因是 put 操作只是在 bucket 里原地寫入 val,而 delete 操作則是將 val 清零,bucket 本身還在。因此,記憶體占用大小不變。

而當 val 大小超過 128B 後,bucket 不會直接放 val,轉而變成一個指針。我們將 N 設為 129,運行程式:

0 MB
197 MB
38 MB

雖然 map 的 bucket 占用記憶體量依然存在,但 val 改成指針存儲後記憶體占用量大大降低。且 val 被刪掉後,記憶體占用量確實降低了。

總之,map 的 buckets 數只會增,不會降。所以在流量衝擊後,map 的 buckets 數增長到一定值,之後即使把元素都刪了也無濟於事。記憶體占用還是在,因為 buckets 占用的記憶體不會少。

對於 map 記憶體泄漏的解法:

  • 重啟;
  • 將 val 類型改成指針;
  • 定期地將 map 里的元素全量拷貝到另一個 map 里。

好在一般有大流量衝擊的互聯網業務大都是 toC 場景,上線頻率非常高。有的公司能一天上線好幾次,在問題暴露之前就已經重啟恢復了,問題不大。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Servlet06 15.HttpServletResponse 15.1HttpServletResponse介紹 每次HTTP請求,Tomcat都會創建一個HttpServletResponse對象傳遞給Servlet程式使用 HttpServletRequest表示請求過來的信息,HttpSe ...
  • 現狀:當前開發在迭代中完成相關feature功能開發之後到發佈到dev環境的流程是: 提交代碼到git對應的分支 需要登錄域賬號去Jenkins服務查找相關的項目任務,再手動選擇分支進行構建。這裡可能還涉及到 沒有Jenkins項目許可權,需要找其他相關開發開許可權 第一次沒有分支,需要到配置構建步驟里 ...
  • 目標 熟練掌握java 每天編寫一篇筆記 java和python都要學習 每天最少要學習4個視頻 電腦的快捷鍵 ctrl+c 複製 ctrl+v 粘貼 ctrl+a 全選 ctrl+x 剪切 ctrl+z 撤銷 ctrl+s 保存 alt+f4 關閉視窗 shift+delete 永久刪除 win+ ...
  • 原文:Mp3文件標簽信息讀取和寫入(Kotlin) - Stars-One的雜貨小窩 最近準備抽空完善了自己的星之小說下載器(JavaFx應用 ),發現下載下來的mp3文件沒有對應的標簽 也是瞭解可以通過mpatric這個庫來實現標簽的讀取和寫入,下麵介紹一下關於mp3標簽和貼上對應的代碼示例 標簽 ...
  • 類的各種成員-> 成員方法 & 成員變數 普通的成員方法=>編譯器會添加一個this形參變數 1:屬於類的作用域 2:調用該方法時,需要依賴一個對象,而且常對象不能調 3:可以任意的訪問對象的私有成員變數 const 常成員方法 => const student *this 1:屬於類的作用域 2: ...
  • 目錄 一.glad 簡介 二.glad 下載 四.glad 使用 1.OpenGL glfw + glad 效果演示 2.OpenGL glfw + glad 《源碼下載》 二.猜你喜歡 零基礎 OpenGL ES 學習路線推薦 : OpenGL ES 學習目錄 >> OpenGL ES 基礎 零基 ...
  • 示例代碼1 點擊查看代碼 class CDate{ public: CDate(int _year,int _month, int _day){ this->year=_year; this->month=_month; this->day=_day; } private: int year; in ...
  • 題目: 跳一跳是一款微信小游戲,游戲規則非常簡單,只需玩家要從一個方塊跳到下一個方塊,如果未能成功跳到下一個方塊則游戲結束。 計分規則如下: 1. 如果成功跳到下一個方塊上,但未跳到方塊中心,加1分 2. 如果成功跳到下一個方塊上,且剛好跳到方塊中心,則第一次加2分,此後連續跳到中心時每次遞增2分。 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...