Golang 探索對Goroutine的控制方法

来源:http://www.cnblogs.com/tr3e/archive/2017/12/14/7995689.html
-Advertisement-
Play Games

前言 在golang中,只需要在函數調用前加上關鍵字go即可創建一個併發任務單元,而這個新建的任務會被放入隊列中,等待調度器安排。相比系統的MB級別線程棧,goroutine的自定義棧只有2KB,這使得我們能夠輕易創建上萬個併發任務,如此對性能提升不少。但隨之而來的有以下幾個問題: "如何等待所有g ...


前言

在golang中,只需要在函數調用前加上關鍵字go即可創建一個併發任務單元,而這個新建的任務會被放入隊列中,等待調度器安排。相比系統的MB級別線程棧,goroutine的自定義棧只有2KB,這使得我們能夠輕易創建上萬個併發任務,如此對性能提升不少。但隨之而來的有以下幾個問題:

本文記錄了筆者就以上幾個問題進行探究的過程,文中給出了大部分問題的解決方案,同時也拋出了未解決的問題,期待與各位交流:p

準備

開始之前先定義一個常量const N=100以及一個HeavyWork函數,假定該函數具有極其冗長、複雜度高、難以解耦的特性

func HeavyWork(id int) {
    rand.Seed(int64(id))
    interval := time.Duration(rand.Intn(3)+1) * time.Second
    time.Sleep(interval)
    fmt.Printf("HeavyWork %-3d cost %v\n", id, interval)
}

以上定義的內容將在之後的代碼中直接使用以縮減篇幅,大部分完整代碼可在 Github: explore-goroutine 中找到

如何等待所有goroutine的退出

"Do not communicate by sharing memory; instead, share memory by communicating"——GO的一大設計哲學《Share Memory By Communicating》
翻譯成中文就是,用通信來共用記憶體數據,而不要通過共用記憶體數據來進行通信。
Go中的goroutines和channel提供了一種優雅而獨特的結構化併發軟體的方法,我們可以利用通道(channel)的特性,來實現當前等待goroutine的操作。但是channel並不是當前這個場景的最佳方案,用它來實現的方式是稍顯笨拙的,需要知道確定個數的goroutine,同時稍不註意就極易產生死鎖,代碼如下:

// "talk is cheap, show me the code."
func main() {
    waitChan := make(chan int, 1)
    for i := 0; i < N; i++ {
        go func(n int) {
            HeavyWork(n)
            waitChan <- 1
        }(i)
    }
    cnt := 0
    for range waitChan {
        cnt++
        if cnt == N {
            break
        }
    }
    close(waitChan)
    fmt.Println("finished")
}

上述代碼使用了一個緩存大小為1的通道(channel),創建N個goroutine用於運行HeavyWork,每個任務完成後向waitChan寫入一個數據,在收到N個完成信號後退出。
但事實上比較優雅的方式是使用go標準庫sync,其中提供了專門的解決方案sync.WaitGroup用於等待一個goroutines集合的結束

// "talk is cheap, show me the code."
func main() {
    wg := sync.WaitGroup{}
    for i := 0; i < N; i++ {
        wg.Add(1)
        go func(n int) {
            defer wg.Done()
            HeavyWork(n)
        }(i)
    }
    wg.Wait()
    fmt.Println("finished")
}

關於sync.WaitGroup的具體使用請參照官方文檔 [GoDoc] sync.WaitGroup ,這裡不再贅述

如何限制goroutine的創建數量(信號量實現)

信號量(Semaphore),有時被稱為信號燈,是在多線程環境下使用的一種設施,是可以用來保證兩個或多個關鍵代碼段不被併發調用。

其中V操作會增加信號量的數值即釋放資源,而P操作會減少它即占用資源

那麼非常容易想到的就是利用channel(通道)緩存有限的特性,它允許我們可以自實現一個簡單的數量控制,就如同使用信號量一般,在這基礎再加上前面提到的sync.WaitGroup,我們可以打出一套組合拳,提供可阻塞的信號量PV操作,能夠實現固定創建goroutine數量並且支持等待當前goroutine的退出。結構體定義如下:

type Semaphore struct {
    Threads chan int
    Wg      sync.WaitGroup
}

而P操作只需在channel中加入一個元素同時調用WaitGroup.Add即可,這一操作完成對資源的申請

func (sem *Semaphore) P() {
    sem.Threads <- 1
    sem.Wg.Add(1)
}

相反則是V操作,進行資源的釋放

func (sem *Semaphore) V() {
    sem.Wg.Done()
    <-sem.Threads
}

Wait則阻塞等待直到當前所有資源都歸還,直接調用WaitGroup的方法即可

func (sem *Semaphore) Wait() {
    sem.Wg.Wait()
}

完整代碼可以在 Github: semaphore 中查看

利用上面的信號量就可以做到,在一個時刻的goroutines數量不會超過信號量值的大小,而某個goroutine退出後將返還占用的信號量,而正在等待的goroutine就可以立即申請,下圖形象地展現了運行時的狀態

怎麼讓goroutine主動退出

對於goroutine的主動退出,比較友好的做法就是迴圈監聽一個channel,通過類似信號的方式來告知goroutine的”該退出了“,然後goroutine自己主動退出,這種做法在網上十分常見,也是Golang官方推薦的做法,思想也很簡單。

func main() {
    ok, quit := make(chan int, 1), make(chan int, 1)
    go func() {
        i := 0
        for {
            select {
            case <-quit:
                ok <- 1
                return
            default:
                HeavyWork(i)
                i++
            }
        }
    }()
    time.Sleep(5 * time.Second)
    quit <- 1
    <-ok
}

運行結果如下圖

探索——如何從外部殺死goroutine

上面講了一些關於goroutines和channel的簡單使用,接下來終於寫到本文的重點了。筆者並沒有解決如何從外部殺死一個goroutine,但記錄了嘗試“殺死”中的可行或不可行方法,希望對各位有所幫助。
因為近期在開發中遇到這樣一個問題,當一個函數是極其冗長、複雜度高、難以解耦的順序結構代碼時(例如某個極其複雜無迴圈結構的加密演算法),而且由於數據量巨大,需要反覆調用該函數,由於每運行一次,程式都會消耗大量的時間、空間,那麼當一個任務已經被用戶拋棄時,如何才能拋棄仍在做著無用功的goroutine?

為了達到“殺死goroutine”的目的,筆者做了很多嘗試,如

  • select結構(條件實現)
  • panic退出機制(失敗)
  • 獲取pid殺死(失敗)
  • ptrace單步調試(失敗)
  • ...(失敗)

利用select語句實現

關於“如何殺死goroutine”,網上有一部分答案就是利用select實現的,但是這種方式實現的代碼並不適用於服務類的程式,但是對於一般非服務類程式的確能夠實現殺死goroutine的效果,代碼如下:

func main() {
    wrapper := func() chan int {
        c := make(chan int)
        go func() {
            HeavyWork(0)
            c <- 1
        }()
        return c
    }
    select {
    case <-wrapper():
    case <-time.After(1 * time.Second):
        fmt.Println("time limit exceed")
    }
    // time.Sleep(3 * time.Second)
}


但是一旦主函數沒有立即退出,而是作為某種服務而繼續運行時,這裡刪除了main函數的最後一行註釋time.Sleep(3 * time.Second),延遲三秒後退出。可以看見儘管已經超時並輸出"time limit exceed"之後,HeavyWork在main函數沒退出前依舊在運行。效果如下

所以使用select-timeout的方式比較適合實時退出類型的程式,能夠實現一定程度上的併發控制,

小結

就目前而言,還沒有完美的方案來解決控制goroutine的問題,事實上Go似乎並不允許和推薦人們直接控制goroutine,所以暫時還無法做到從外部直接控制goroutine的生命周期,所以比較推薦的做法還是只能通過goroutine主動退出的方法,迴圈監聽channel,在發出退出信號後最多只消耗一輪資源後就退出,但這就要求該代碼具有迴圈結構否則就很難使用。有更好解決方案的朋友,請務必告訴我!

轉載請註明出處:http://www.cnblogs.com/tr3e/p/7995689.html


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 轉義字元 通過\來轉變後面字母或者符號的含義\n:換行\b:退格 相當於backspace\r:按下回車鍵 window系統 回車符是由兩個字元來表示\r\n\t:製表符 相當於tab鍵 邏輯運算符 %左邊等於右邊就是0右邊是1結果是0如果出現負數 只看左邊是否負數& 只要兩邊的boolean表達式 ...
  • https://www.cnblogs.com/ggzss/archive/2011/08/18/2145017.html assert是一個巨集定義,其作用是如果它的條件返回錯誤,則終止程式執行,原型定義: assert的作用是現計算表達式 expression ,如果其值為假(即為0),那麼它先向 ...
  • 這裡儘管缺少消息發送所需要的點(.)以及該消息的顯示接收者,卻依然發送了消息puts並傳遞了參數“Hello”給一個對象:預設對象self。在程式運行期間,雖然作為self的對象通過特定規則發生改變,但self總是被預定義好的。 ...
  • UDP 用戶數據報協議,是一個簡單的面向數據報的運輸層協議。UDP不提供可靠性,它只是把應用程式傳給IP層的數據報發送出去,但是並不能保證它們能到達目的地 ,也不能保證數據包到達的順序。由於UDP在傳輸數據報前不用在客戶和伺服器之間建立一個連接,且沒有超時重發等機制,故而傳輸速度很快。 在Java中 ...
  • 如果字元串的行尾沒有包含換行符,puts就會添加一個,但print不會; print會精確列印內容並讓游標留在末尾(在某些系統平臺,在程式輸出的末尾會自動換行); p會輸出一個審查字元串,它通常會包含一些額外的輸出信息。 ...
  • 希望大家指點有哪些地方不足! Html 代碼 觸發上傳 js 代碼 後臺使用了spring mvc 上傳完成後的文件是這樣的。 合併文件 轉成集合排序會方便點,但是在別人的電腦上測試會有問題 ...
  • 1.1 流程式控制制之for迴圈 1 迭代式迴圈:for,語法如下 for i in range(10): 縮進的代碼塊 2 break與continue(同上) 3 迴圈嵌套 for i in range(1,10): for j in range(1,i+1): print('%s*%s=%s' % ...
  • 第一步: 創建一個SpringBoot應用 第二步: 創建一個實體,用來存儲數據,在src/main/java/com/example/first下創建包entity , 在entity下創建Person.java文件 第三步: 創建resource, 在src/main/java/com/exam ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...