這是golang拾遺系列的第六篇。這個系列主要用來記錄一些平時不常見的知識點,偶爾也會實現些有意思的小功能,比如這篇。 golang拾遺系列目錄: golang拾遺:指針和介面 golang拾遺:為什麼我們需要泛型 golang拾遺:嵌入類型 golang拾遺:內置函數len的小知識 golang拾 ...
這是golang拾遺系列的第六篇。這個系列主要用來記錄一些平時不常見的知識點,偶爾也會實現些有意思的小功能,比如這篇。
golang拾遺系列目錄:
- golang拾遺:指針和介面
- golang拾遺:為什麼我們需要泛型
- golang拾遺:嵌入類型
- golang拾遺:內置函數len的小知識
- golang拾遺:自定義類型和方法集
- golang拾遺:實現一個不可複製類型
在本篇中我們將實現一個無法被覆制的類型,順便加深對引用類型、值傳遞以及指針的理解。
閱讀本文前需要你擁有一定的前置知識,包括掌握基本的golang語法,能理解並應用介面,對sync包下的內容有粗略的瞭解。如果你準備好了,就可以接著往下看了。
本文索引
如何複製一個對象
不考慮IDE提供的代碼分析和go vet
之類的靜態分析工具,golang里幾乎所有的類型都能被覆制。
// 基本標量類型和指針
var i int = 1
iCopy := i
str := "string"
strCopy := str
pointer := &i
pointerCopy := pointer
iCopy2 := *pointer // 解引用後進行複製
// 結構體和數組
arr := [...]int{1, 2, 3}
arrCopy := arr
type Obj struct {
i int
}
obj := Obj{}
objCopy := obj
除了這些,golang還有函數和引用類型(slice、map、interface),這些類型也可以被覆制,但稍有不同:
func f() {...}
f1 := f
f2 := f1
fmt.Println(f1, f2) // 0xabcdef 0xabcdef 列印出來的值是一樣的
fmt.Println(&f1 == &f2) // false 雖然值一樣,但確實是兩個不同的變數
這裡並沒有真正複製處三份f
的代碼,f1
和f2
均指向f
,f的代碼始終只會有一份。map、slice和interface與之類似:
m := map[int]string{
0: "a",
1: "b",
}
mCopy := m // 兩者引用同樣的數據
mCopy[0] := "unknown"
m[0] == "unknown" // True
// slice的複製和map相同
interface是比較另類的,它的行為要分兩種情況:
s := "string"
var i1 any = s
var i2 any = s
// 當把非指針和介面類型的值賦值給interface,會導致原來的對象被覆制一份
s := "string"
var i1 any = s
var i2 any = i2
// 當把介面賦值給介面,底層引用的數據不會被覆制,i1會複製s,i2此時和i1共有一個s的副本
ss := "string but pass by pointer"
var i3 any = &ss
var i4 any = i3
// i3和i4均引用ss,此時ss沒有被覆制,但指向ss的指針的值被覆制了兩次
上面的結果會一定程度上被編譯優化干擾,比如少數情況下編譯器可以確認賦值給介面的值從來沒被修改並且生命周期不比源對象長,則可能不會進行複製。
所以這裡有個小提示:如果要賦值給介面的數據比較大,那麼最好以指針的形式賦值給介面,複製指針比複製大量的數據更高效。
為什麼要禁止複製
從上一節可以看到,允許複製時會在某些情況下“闖禍”。比如:
- 淺拷貝的問題很容易出現,比如例子里的map和slice的淺拷貝問題,這可能會導致數據被意外修改
- 意外複製了大量數據,導致性能問題
- 在需要共用狀態的地方錯誤的使用了副本,導致狀態不一致從而產生嚴重問題,比如
sync.Mutex
,複製一個鎖並使用其副本會導致死鎖 - 根據業務或者其他需求,某類型的對象只允許存在一個實例,這時複製顯然是被禁止的
顯然在一些情況下禁止複製是合情合理的,這也是為什麼我會寫這篇文章。
但具體情況具體分析,不是說複製就是萬惡之源,什麼時候該支持複製,什麼時候應該禁止,應該結合自己的實際情況。
運行時檢測實現禁止複製
想在別的語言禁止某個類型被覆制,方法有很多,用c++舉一例:
struct NoCopy {
NoCopy(const NoCopy &) = delete;
NoCopy &operator=(const NoCopy &) = delete;
};
可惜在golang里不支持這麼做。
另外,因為golang沒有運算符重載,所以很難在賦值的階段就進行攔截,所以我們的側重點在於“複製之後可以儘快檢測到”。
所以我們先實現在對象被覆制後報錯的功能。雖然不如c++編譯期就可以禁止複製那樣優雅,但也算實現了功能,至少不什麼都沒有要強一些。
初步嘗試
那麼如何直到對象是否被覆制了?很簡單,看它的地址就行了,地址一樣那必然是同一個對象,不一樣了那說明複製出一個新的對象了。
順著這個思路,我們需要一個機制來保存對象第一次創建時的地址,併在後續進行比較,於是第一版代碼誕生了:
import "unsafe"
type noCopy struct {
p uintptr
}
func (nc *noCopy) check() {
if uintptr(unsafe.Pointer(nc)) != nc.p {
panic("copied")
}
}
邏輯比較清晰,每次調用check
來檢查當前的調用者的地址和保存地址是否相同,如果不同就panic。
為什麼沒有創建這個類型的方法?因為我們沒法得知自己被其他類型創建時的地址,所以這塊得讓其他使用noCopy
的類型代勞。
使用的時候需要把noCopy
嵌入自己的struct,註意不能以指針的形式嵌入:
type SomethingCannotCopy struct {
noCopy
...
}
func (s *SomethingCannotCopy) DoWork() {
s.check()
fmt.Println("do something")
}
func NewSomethingCannotCopy() *SomethingCannotCopy {
s := &SomethingCannotCopy{
// 一些初始化
}
// 綁定地址
s.noCopy.p = unsafe.Pointer(&s.noCopy)
return s
}
註意初始化部分的代碼,在這裡我們需要把noCopy
對象的地址綁定進去。現在可以實現運行時檢測了:
func main() {
s1 := NewSomethingCannotCopy()
pointer := s1
s1Copy := *s1 // 這裡實際上進行了複製,但需要調用方法的時候才能檢測到
pointer.DoWork() // 正常列印出信息
s1Copy.DoWork() // panic
}
解釋下原理:當SomethingCannotCopy
被覆制的時候,noCopy
也會被覆制,因此複製出來的noCopy
的地址和原先的那個是不一樣的,但他們內部記錄的p
是一樣的,這樣當被覆制出來的noCopy
對象調用check方法的時候就會觸發panic。這也是為什麼不要用指針形式嵌入它的原因。
功能實現了,但代碼實在是太醜,而且耦合嚴重:只要用了noCopy
,就必須在創建對象的同時初始化noCopy的實例,noCopy的初始化邏輯會侵入到其他對象的初始化邏輯中,這樣的設計是不能接受的。
更好的實現
那麼有沒有更好的實現?答案是有的,而且在標準庫里。
標準庫的信號量sync.Cond
是禁止複製的,而且比Mutex更為嚴格,因為複製它比複製鎖更容易導致死鎖和崩潰,所以標準庫加上了運行時的動態檢查。
主要代碼如下:
type Cond struct {
// L is held while observing or changing the condition
L Locker
...
// 複製檢查
checker copyChecker
}
// NewCond returns a new Cond with Locker l.
func NewCond(l Locker) *Cond {
return &Cond{L: l}
}
func (c *Cond) Signal() {
// 檢查自己是否被覆制
c.checker.check()
runtime_notifyListNotifyOne(&c.notify)
}
checker
實現了運行時檢測是否被覆制,但初始化的時候並不需要特殊處理這個checker
,這是用了什麼手法做到的呢?
看代碼:
type copyChecker uintptr
func (c *copyChecker) check() {
if uintptr(*c) != uintptr(unsafe.Pointer(c)) && // step 1
!atomic.CompareAndSwapUintptr((*uintptr)(c), 0, uintptr(unsafe.Pointer(c))) && // step 2
uintptr(*c) != uintptr(unsafe.Pointer(c)) { //step 3
panic("sync.Cond is copied")
}
}
看著很複雜,連原子操作都來了,這都是啥啊。但別怕,我給你捋一捋就明白了。
首先是checker初始化之後第一次調用:
- 當check第一次被調用,c的值肯定是0,而這時候c是有真實的地址的,所以
step 1
失敗,進入step 2
; - 用原子操作把c的值設置成自己的地址值,註意只有c的值是0的時候才能完成設置,因為這裡c的值是0,所以交換成功,
step 2
是False
,判斷流程直接結束; - 因為不排除還有別的goroutine拿著這個checker在做檢測,所以
step 2
是會失敗的,這是要進入step 3
; step 3
再次比較c的值和它自己的地址是否相同,相同說明多個goroutine共用了一個checker,沒有發生複製,所以檢測通過不會panic。- 如果
step 3
的比較發現不相等,那麼說明被覆制了,直接panic
然後我們再看其他情況下checker的流程:
- 這時候c的值不是0,如果沒發生複製,那麼
step 1
的結果是False
,判斷流程結束,不會panic; - 如果c的值和自己的地址不一樣,會進入
step 2
,因為這裡c的值不為0,所以表達式結果一定是True
,所以進入step 3
; step 3
和step 1
一樣,結果是True
,地址不同說明被覆制,這時候if裡面的語句會執行,因此panic。
搞得這麼麻煩,其實就是為了能幹乾凈凈地初始化。這樣任何類型都只需要帶上checker
作為自己的欄位就行,不用關心它是這麼初始化的。
還有個小問題,為什麼設置checker的值需要原子操作,但讀取就不用呢?
因為讀取一個uintptr的值,在現代的x86和arm處理器上只要一個指令,所以要麼讀到過時的值要麼讀到最新的值,不會讀到錯誤的或者寫了一半的不完整的值,對於讀到舊值的情況(主要出現在第一次調用check的時候),還有step 3
做進一步的檢查,因此不會影響整個檢測邏輯。而“比較並交換”顯然一條指令做不完,如果在中間步驟被打斷那麼整個操作的結果很可能就是錯的,從而影響整個檢測邏輯,所以必須要用原子操作才行。
那麼在讀取的時候也使用atomic.Load
行嗎?當然行,但一是這麼做仍然避免不了step 3
的檢測,可以思考下是為什麼;二是原子操作相比直接讀取會帶來性能損失,在這裡不使用原子操作也能保證正確性的情況下這是得不償失的。
性能
因為是運行時檢測,所以我們得看看會對性能帶來多少影響。我們使用改進版的checker。
type CheckBench struct {
num uint64
checker copyChecker
}
func (c *CheckBench) CheckCopy() {
c.checker.check()
c.num++
}
// 不進行檢測
func (c *CheckBench) NoCheck() {
c.num++
}
func BenchmarkCheckBench_NoCheck(b *testing.B) {
c := CheckBench{}
for i := 0; i < b.N; i++ {
for j := 0; j < 50; j++ {
c.NoCheck()
}
}
}
func BenchmarkCheckBench_WithCheck(b *testing.B) {
c := CheckBench{}
for i := 0; i < b.N; i++ {
for j := 0; j < 50; j++ {
c.CheckCopy()
}
}
}
測試結果如下:
cpu: Intel(R) Core(TM) i5-10200H CPU @ 2.40GHz
BenchmarkCheckBench_NoCheck-8 17689137 68.36 ns/op
BenchmarkCheckBench_WithCheck-8 17563833 66.04 ns/op
幾乎可以忽略不計,因為我們這裡沒有發生複製,所以幾乎每次檢測都是通過的,這對cpu的分支預測非常友好,所以性能損耗幾乎可以忽略。
所以我們給cpu添點堵,讓分支預測沒那麼容易:
func BenchmarkCheckBench_WithCheck(b *testing.B) {
for i := 0; i < b.N; i++ {
c := &CheckBench{}
for j := 0; j < 50; j++ {
c.CheckCopy()
}
}
}
func BenchmarkCheckBench_NoCheck(b *testing.B) {
for i := 0; i < b.N; i++ {
c := &CheckBench{}
for j := 0; j < 50; j++ {
c.NoCheck()
}
}
}
現在分支預測沒那麼容易了而且要多付出初始化時使用atomic的代價,測試結果會變成這樣:
cpu: Intel(R) Core(TM) i5-10200H CPU @ 2.40GHz
BenchmarkCheckBench_WithCheck-8 15552717 74.84 ns/op
BenchmarkCheckBench_NoCheck-8 26441635 44.74 ns/op
差不多會慢40%。當然,實際的代碼不會有這麼極端,所以最壞可能也只會產生20%的影響,通常不太會成為性能瓶頸,運行時檢測是否有影響還需結核profile。
優點和缺點
優點:
- 只要調用check,肯定能檢查出是否被覆制
- 簡單
缺點:
- 所有的方法里都需要調用check,新加方法忘了調用的話就無法檢測
- 只能在被覆制出來的新對象那檢測到複製操作,原先那個對象上check始終是沒問題的,這樣不是嚴格禁止了複製,但大多數時間沒問題,可以接受
- 如果只複製了對象沒調用任何對象上的方法,也無法檢測到複製,這種情況比較少見
- 有潛在性能損耗,雖然很多時候可以得到充分優化損耗沒那麼誇張
靜態檢測實現禁止複製
動態檢測的缺點不少,能不能像c++那樣編譯期就禁止複製呢?
利用Locker介面不可複製實現靜態檢測
也可以,但得配合靜態代碼檢測工具,比如自帶的go vet
。看下代碼:
// 實現sync.Locker介面
type noCopy struct{}
func (*noCopy) Lock() {}
func (*noCopy) Unlock() {}
type SomethingCannotCopy struct {
noCopy
}
這樣就行了,不需要再添加其他的代碼。解釋下原理:任何實現了sync.Locker
的類型都不應該被拷貝,靜態代碼檢測會檢測出這些情況並報錯。
所以類似下邊的代碼都是無法通過靜態代碼檢測的:
func f(s SomethingCannotCopy) {
// 報錯,因為參數會導致複製
// 返回SomethingCannotCopy也是不行的
}
func (s SomethingCannotCopy) Method() {
// 報錯,因為非指針類型接收器會導致複製
}
func main() {
s := SomethingCannotCopy{}
sCopy := s // 報錯
sInterface := any(s) // 報錯
sPointer := &s // OK
sCopy2 := *sPointer // 報錯
sInterface2 := any(sPointer) // OK
sCopy3 := *(sInterface2.(*SomethingCannotCopy)) // 報錯
}
基本上涵蓋了所以會產生複製操作的地方,基本能在編譯期完成檢測。
如果跳過go vet
,直接使用go run
或者go build
,那麼上面的代碼可以正常編譯並運行。
優點和缺點
因為只有靜態檢測,因此沒有什麼運行時開銷,所以性能這節就不需要費筆墨了。主要來看下這種方案的優缺點。
優點:
- 實現非常簡單,代碼很簡練,基本無侵入性
- 依賴靜態檢測,不影響運行時性能
- golang自帶檢測工具:go vet
- 可檢測到的case比運行時檢測多
缺點:
- 最大的缺點,儘管靜態檢測會報錯,但仍然可以正常編譯執行
- 不是每個測試環境和CI都配備了靜態檢測,所以很難強制保證類型沒有被覆制
- 會導致類型實現
sync.Locker
,然而很多時候我們的類型並不是類似鎖的資源,使用這個介面只是為了靜態檢測,這會帶來代碼被誤用的風險
標準庫也使用的這套方案,建議仔細閱讀這個issue里的討論。
更進一步
看過運行時檢測和靜態檢測兩種方案之後,我們會發現這些做法多少都有些問題,不盡如人意。
所以我們還是要追求一種更好用的,更符合golang風格的做法。幸運的是,這樣的做法是存在的。
利用package和interface進行封裝
首先我們創建一個worker包,裡面定義一個Worker
介面,包中的數據對外以Worker
介面的形式提供:
package worker
import (
"fmt"
)
// 對外只提供介面來訪問數據
type Worker interface {
Work()
}
// 內部類型不導出,以介面的形式供外部使用
type normalWorker struct {
// data members
}
func (*normalWorker) Work() {
fmt.Println("I am a normal worker.")
}
func NewNormalWorker() Worker {
return &normalWorker{}
}
type specialWorker struct {
// data members
}
func (*specialWorker) Work() {
fmt.Println("I am a special worker.")
}
func NewSpecialWorker() Worker {
return &specialWorker{}
}
worker包對外只提供Worker
介面,用戶可以使用NewNormalWorker
和NewSpecialWorker
來生成不同種類的worker,用戶不需要關心具體的返回類型,只要使用得到的Worker
介面即可。
這麼做的話,在worker包之外是看不到normalWorker
和specialWorker
這兩個類型的,所以沒法靠反射和類型斷言取出介面引用的數據;因為我們傳給介面的是指針,因此源數據不會被覆制;同時我們在第一節提到過,把一個介面賦值給另一個介面(worker包之外你只能這麼做),底層被引用的數據不會被覆制,因此在包外始終不會在這兩個類型上產生複製的行為。
因此下麵這樣的代碼是不可能通過編譯的:
func main() {
w := worker.NewSpecialWorker()
// worker.specialWorker 在worker包以外不可見,因此編譯錯誤
wCopy := *(w.(*worker.specialWorker))
wCopy.Work()
}
優點和缺點
這樣就實現了worker包之外的禁止複製,下麵來看看優缺點。
優點:
- 不需要額外的靜態檢查工具在編譯代碼前執行檢查
- 不需要運行時動態檢測是否被覆制
- 不會實現自己不需要的介面類型導致污染方法集
- 符合golang開發中的習慣做法
缺點:
- 並沒有讓類型本身不可複製,而是靠封裝屏蔽了大部分可能導致複製的情況
- 這些worker類型在包內是可見的,如果在包內修改代碼時不註意可能會導致複製這些類型的值,所以要麼包內也都用Woker介面,要麼參考上一節添加靜態檢查
- 有些場景下不需要介面或者因為性能要求苛刻而使用不了介面,這種做法就行不通了,比如標準庫sync里的類型為了性能大部分都是暴露出來給外部直接使用的
綜合來說,這種方案是實現成本最低的。
總結
現在我們有三種方式防止我們的類型被覆制:
- 運行時檢測
- 靜態代碼檢測
- 通過介面封裝避免暴露類型,從而避免被覆制
一共三種方案,選擇困難症仿佛要發作了。彆著急,我們一起看看標準庫是怎麼做的:
- 標準庫的
sync.Cond
同時使用了方案一和方案二,因為設計者確實很不希望條件變數被覆制 sync.Mutex
、sync.Pool
和sync.WaitGroup
使用了方案二,需要配合go vet
- 方案三在標準庫中應用最廣泛,然而多數是處於設計和封裝的考慮,並不是為了禁止copy,但複製
crypto
包下的那些Hash
和Cipher
確實沒什麼意義會帶來誤用,正好藉著方案三避免了這些問題
綜合來看首選的應該是方案三;但也有需要使用方案二的時候,比如sync包中的那些同步機構;使用最少的是方案一,儘可能地不要設計出類似的代碼。
還有一點需要註意,如果你的類型里有欄位是sync.Pool
、sync.WaitGroup
、sync.RWMutex
、sync.Mutex
、sync.Cond
、sync.Map
或sync.Once
,那麼這個類型本身也是不可複製的,也不需要額外實現禁止複製的功能,因為那些欄位自帶了。
最後,我只想說golang的語言技能實在是太簡陋了,想只依賴語言特性實現禁止複製的功能不太現實,更多的還是需要靠“設計”。