golang map

来源:https://www.cnblogs.com/elve960520/archive/2023/11/16/17836145.html
-Advertisement-
Play Games

golang 的 map 使用的是 hash map 基本結構 下麵截取自源碼,已翻譯 // runtime/map.go:117 // go map 定義,hashmap 縮寫 type hmap struct { count int // map 里文件數 flags uint8 // map ...


golang 的 map 使用的是 hash map

基本結構

下麵截取自源碼,已翻譯

// runtime/map.go:117

// go map 定義,hashmap 縮寫
type hmap struct {
	count     int // map 里文件數
	flags     uint8 // map 當前是否在寫入,一般為 hashWriting  = 4 (寫入中)或 0 (空閑)
	B         uint8  // 桶的數量,2^B 個
	noverflow uint16 // 溢出桶的數量
	hash0     uint32 // hash 隨機數,從 hmap 創建開始就不變

	buckets    unsafe.Pointer // 存儲桶的指針,存放 2^B 個桶的地址
	oldbuckets unsafe.Pointer // 舊存儲桶的地址,在擴容時候用
	nevacuate  uintptr        // 記錄疏散桶進度 TODO

	extra *mapextra // 當 bucket 不含指針時,記錄所有溢出桶的地址,加快 gc
}

// runtime/map.go:151

// 一個桶的設計
type bmap struct {
	tophash [bucketCnt]uint8 // 高 64 位存儲每個 key 的信息
	// 後面跟 8 個 key
	// 然後跟 8 個 value
	// 下一個溢出桶地址
}

初始化

m  := make(map[int]string) // 初始化一個empty的 map,所有參數都是 0,用的方法是h := new(hmap) 參考runtime/map.go:294
m2 := make(map[int]string,100) // 初始化一個大小為 128 的 map
m3 := map[int]string{1:"a"} // 初始化 1 個桶的 map

我的golang是 1.21 版本(go version go1.21.1 darwin/arm64)
先分析使用 make 的情況,當 make 的第二個參數不填或者<=8的時候,調用的是 makemap_small(runtime/map.go:294) 函數,但我本地看彙編代碼並沒有發現 makemap_small 函數,應該是編譯器有別的優化,具體可以深入研究一下,其他版本的 golang 還沒測。
這裡其實進行了很簡單的記憶體分配和隨機種子,所以找不到也可以理解

// runtime/map.go:294

func makemap_small() *hmap {
	h := new(hmap)
	h.hash0 = fastrand() // 隨機 hash 種子
	return h
}

當第二個參數 >8的時候,會調用 makemap(runtime/map.go:305) 函數,這個從彙編代碼可以看到,會進行 bucket 的記憶體分配

// runtime/map.go:305

func makemap(t *maptype, hint int, h *hmap) *hmap {
	mem, overflow := math.MulUintptr(uintptr(hint), t.Bucket.Size_)
	if overflow || mem > maxAlloc {
		hint = 0
	}

	// 這塊跟 makemap_small是一樣的
	if h == nil {
		h = new(hmap)
	}
	h.hash0 = fastrand()

	// 這塊主要是計算桶的數量
	B := uint8(0)
	for overLoadFactor(hint, B) {
		B++
	}
	h.B = B

	// 這塊進行 bucket 的初始化
	if h.B != 0 {
		var nextOverflow *bmap
		h.buckets, nextOverflow = makeBucketArray(t, h.B, nil)
		if nextOverflow != nil {
			h.extra = new(mapextra)
			h.extra.nextOverflow = nextOverflow
		}
	}

	return h
}

同時在 key 是 32 位,64 位,string 時,都用的同一樣的創建 map,但是插入、讀取、刪除函數有各自的優化,否則就用通用的插入讀取刪除

插入

先對 key 進行 hash(hash 函數運行時得到,根據處理器有關,一般是 aes),得到 64 位的哈希值
用哈希值的低 B (hmap.B) 位來確定該 key 落入哪個桶內
再用哈希值的高 8 位尋找在 bucket 里的位置
然後依次找到空的位置,將 key,value 寫入 bucekt 里的對應位置
如果當前 bucket 滿了,會觸發溢出桶,新建一個 bucket 的操作

讀取

讀取和插入類似,先對 key 進行 hash 運算得到 64 位 hash 值
然後依次計算低 B 位,高 8 位
然後找到對應的桶,再依次找高八位相同的值,再比較 key,所以能作為 map 的 key 的一定是可比較的類型,也就是支持==操作
如果找不到返回預設值

擴容

map 在元素增加過多或過於稀疏都會發生擴容

  1. 當裝載因數大於 6.5,會發生擴容
  2. 當溢出桶的數量過多,但是裝載因數卻 < 6.5,說明map 比較稀疏,就需要sameSizeGrow,稱作等量擴容

擴容

擴容就是增加一倍的 bucket 數量,把原來的某個 bucket 的元素重新取低B位,然後放到新的桶里

等量擴容

等量擴容也是走的擴容流程,只不過B 不+1,只是新建一個 bucket,將原來 bucket 里的數據搬遷到新的 bucket 里,當有多個溢出桶時候可能會壓縮成一個,就沒有溢出桶了

遍歷

首先明確,map 在 range 遍歷的時候返回的是值的拷貝,而不是原值,所以對遍歷的值的修改對原值不會影響,如果遍歷的 value 是指針的話,就相當於拿指針修改,就會有影響,但是 map 里存的值不會變

map 在遍歷的時候先隨機一個種子,然後從一個隨機的 bucket 和隨機的位置開始遍歷
如果在擴容中,會查看 bucket 是否正在擴容,如果是正在擴容,回去老的 bucket 就是 oldbuckets 那遍歷

難點

擴容

map 的主要難點就是擴容相關

併發

map 在寫入時會將 flag 置為hashWriting,其他協程有寫操作時候,會 panic

參考

深入解析Golang的map設計
逐行拆解 Go map 源碼
Go語言基礎結構 —— Map(哈希表)
golang map 從源碼分析實現原理(go 1.14)
我可能並不會使用golang map
GO語言設計與實現-3.3哈希表
Go 程式員面試筆試寶典-哈希表


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 寫在前面 技術這東西就得用,不用就會忘,之前寫博客感覺就是給自己記筆記用,還有大部分,估計睡在語雀里都落灰了,哈哈! 在Python領域,我覺得我還是算個小白吧,會寫講不明白,所以我決定想做一件事,先搞下flask這部分教程,看看能給大家說明白嗎,真的感覺和Java有很大區別,廢話不多說了,開整! ...
  • ”不要以共用記憶體的方式來通信,相反,要通過通信來共用記憶體“ golang 的一個思想,不整文的,整點武的,具體來看channel 怎麼做的 有一個很關鍵的 golang MPG 模型再單獨分析,這篇先只分析 channel 定義 // runtim/chan.go type hchan struct ...
  • 九、迴圈(二) 1、while迴圈 1)while迴圈語法 //while迴圈語法 while(條件表達式) //條件表達式是一個bool類型的值 { 迴圈語句; } //示例 int i = 9; while(i<0) { i--; std::cout<<i; } 2)while迴圈嵌套 //wh ...
  • 1 void erosion(BYTE* image, int w, int h, BYTE* outImg) 2 { 3 int rept; 4 //腐蝕 5 memcpy(outImg, image, sizeof(BYTE) * w * h); //將讀取的圖像賦值給outImg,方便進行腐蝕 ...
  • 我們知道Python是一門解釋型語言,項目運行時需要依賴Python解釋器,並且有時候需要安裝項目中對應的三方依賴庫。對於專業的Python開發者來說,可以直接通過pip命令進行安裝即可。但是如果是分發給其他的Windows用戶,特別是不熟悉Python的人來說,這樣過於繁瑣。因此最好的辦法是連同P... ...
  • 各種鎖的理解 公平鎖、非公平鎖 公平鎖:先到先得(不可插隊) 非公平鎖:達者為先(可插隊) >預設 public ReentrantLock() { //預設非公平鎖 sync = new NonfairSync(); } //重載的構造方法,通過fair控制是否公平 public Reentran ...
  • Mybatis簡介 MyBatis歷史 MyBatis最初是Apache的一個開源項目iBatis, 2010年6月這個項目由Apache Software Foundation遷移到了Google Code。隨著開發團隊轉投Google Code旗下,iBatis3.x正式更名為MyBatis。代 ...
  • 將Excel文件轉換為PDF可以方便儲存表格數據,此外在列印或共用文檔時也能確保表格樣式佈局等在不同設備和操作系統上保持一致。今天給大家分享一個使用第三方Python庫Spire.XLS for Python 實現Excel轉PDF的簡單方法。 Python中Excel轉PDF的實現步驟 1. 首先 ...
一周排行
    -Advertisement-
    Play Games
  • 前言 微服務架構已經成為搭建高效、可擴展系統的關鍵技術之一,然而,現有許多微服務框架往往過於複雜,使得我們普通開發者難以快速上手並體驗到微服務帶了的便利。為瞭解決這一問題,於是作者精心打造了一款最接地氣的 .NET 微服務框架,幫助我們輕鬆構建和管理微服務應用。 本框架不僅支持 Consul 服務註 ...
  • 先看一下效果吧: 如果不會寫動畫或者懶得寫動畫,就直接交給Blend來做吧; 其實Blend操作起來很簡單,有點類似於在操作PS,我們只需要設置關鍵幀,滑鼠點來點去就可以了,Blend會自動幫我們生成我們想要的動畫效果. 第一步:要創建一個空的WPF項目 第二步:右鍵我們的項目,在最下方有一個,在B ...
  • Prism:框架介紹與安裝 什麼是Prism? Prism是一個用於在 WPF、Xamarin Form、Uno 平臺和 WinUI 中構建鬆散耦合、可維護和可測試的 XAML 應用程式框架 Github https://github.com/PrismLibrary/Prism NuGet htt ...
  • 在WPF中,屏幕上的所有內容,都是通過畫筆(Brush)畫上去的。如按鈕的背景色,邊框,文本框的前景和形狀填充。藉助畫筆,可以繪製頁面上的所有UI對象。不同畫筆具有不同類型的輸出( 如:某些畫筆使用純色繪製區域,其他畫筆使用漸變、圖案、圖像或繪圖)。 ...
  • 前言 嗨,大家好!推薦一個基於 .NET 8 的高併發微服務電商系統,涵蓋了商品、訂單、會員、服務、財務等50多種實用功能。 項目不僅使用了 .NET 8 的最新特性,還集成了AutoFac、DotLiquid、HangFire、Nlog、Jwt、LayUIAdmin、SqlSugar、MySQL、 ...
  • 本文主要介紹攝像頭(相機)如何採集數據,用於類似攝像頭本地顯示軟體,以及流媒體數據傳輸場景如傳屏、視訊會議等。 攝像頭採集有多種方案,如AForge.NET、WPFMediaKit、OpenCvSharp、EmguCv、DirectShow.NET、MediaCaptre(UWP),網上一些文章以及 ...
  • 前言 Seal-Report 是一款.NET 開源報表工具,擁有 1.4K Star。它提供了一個完整的框架,使用 C# 編寫,最新的版本採用的是 .NET 8.0 。 它能夠高效地從各種資料庫或 NoSQL 數據源生成日常報表,並支持執行複雜的報表任務。 其簡單易用的安裝過程和直觀的設計界面,我們 ...
  • 背景需求: 系統需要對接到XXX官方的API,但因此官方對接以及管理都十分嚴格。而本人部門的系統中包含諸多子系統,系統間為了穩定,程式間多數固定Token+特殊驗證進行調用,且後期還要提供給其他兄弟部門系統共同調用。 原則上:每套系統都必須單獨接入到官方,但官方的接入複雜,還要官方指定機構認證的證書 ...
  • 本文介紹下電腦設備關機的情況下如何通過網路喚醒設備,之前電源S狀態 電腦Power電源狀態- 唐宋元明清2188 - 博客園 (cnblogs.com) 有介紹過遠程喚醒設備,後面這倆天瞭解多了點所以單獨加個隨筆 設備關機的情況下,使用網路喚醒的前提條件: 1. 被喚醒設備需要支持這WakeOnL ...
  • 前言 大家好,推薦一個.NET 8.0 為核心,結合前端 Vue 框架,實現了前後端完全分離的設計理念。它不僅提供了強大的基礎功能支持,如許可權管理、代碼生成器等,還通過採用主流技術和最佳實踐,顯著降低了開發難度,加快了項目交付速度。 如果你需要一個高效的開發解決方案,本框架能幫助大家輕鬆應對挑戰,實 ...