用go和zk實現一個簡單的分散式server

来源:http://www.cnblogs.com/good-temper/archive/2016/07/09/5656866.html
-Advertisement-
Play Games

最近打算寫個簡單的配置中心,考慮到實現便捷性,語言選擇了go,由於其中計劃用到zk,就調研了下golang的zk客戶端,並實現了個簡單的分散式server。 ...


golang的zk客戶端

最近打算寫個簡單的配置中心,考慮到實現便捷性,語言選擇了go,由於其中計劃用到zk,就調研了下golang的zk客戶端,並實現了個簡單的分散式server。最終找到了兩個,地址如下:

由於gozk的文檔不如後者,且代碼沒在gihub上,所以就直接選擇了後者。go-zookeeper文檔還是比較全面的:文檔

基本操作測試

這裡預設大家已經瞭解zk的用處和基本用法了,如果還不瞭解可以參看:官方文檔中文文檔
下邊我們先來寫個簡單的例子來測試下基本的操作:

package main

/**
客戶端doc地址:github.com/samuel/go-zookeeper/zk
**/
import (
    "fmt"
    zk "github.com/samuel/go-zookeeper/zk"
    "time"
)

/**
 * 獲取一個zk連接
 * @return {[type]}
 */
func getConnect(zkList []string) (conn *zk.Conn) {
    conn, _, err := zk.Connect(zkList, 10*time.Second)
    if err != nil {
        fmt.Println(err)
    }
    return
}

/**
 * 測試連接
 * @return
 */
func test1() {
    zkList := []string{"localhost:2183"}
    conn := getConnect(zkList)

    defer conn.Close()
    conn.Create("/go_servers", nil, 0, zk.WorldACL(zk.PermAll))

    time.Sleep(20 * time.Second)
}

/**
 * 測試臨時節點
 * @return {[type]}
 */
func test2() {
    zkList := []string{"localhost:2183"}
    conn := getConnect(zkList)

    defer conn.Close()
    conn.Create("/testadaadsasdsaw", nil, zk.FlagEphemeral, zk.WorldACL(zk.PermAll))

    time.Sleep(20 * time.Second)
}

/**
 * 獲取所有節點
 */
func test3() {
    zkList := []string{"localhost:2183"}
    conn := getConnect(zkList)

    defer conn.Close()

    children, _, err := conn.Children("/go_servers")
    if err != nil {
        fmt.Println(err)
    }
    fmt.Printf("%v \n", children)
}

func main() {
    test3()
}

上邊的代碼裡邊我們測試了golang對zk的連接、創建節點、或取節點操作,在下邊的分散式server中將用到這幾個操作。

簡單的分散式server

目前分散式系統已經很流行了,一些開源框架也被廣泛應用,如dubbo、Motan等。對於一個分散式服務,最基本的一項功能就是服務的註冊和發現,而利用zk的EPHEMERAL節點則可以很方便的實現該功能。EPHEMERAL節點正如其名,是臨時性的,其生命周期是和客戶端會話綁定的,當會話連接斷開時,節點也會被刪除。下邊我們就來實現一個簡單的分散式server:
server:

  1. 服務啟動時,創建zk連接,併在go_servers節點下創建一個新節點,節點名為"ip:port",完成服務註冊
  2. 服務結束時,由於連接斷開,創建的節點會被刪除,這樣client就不會連到該節點

client:

  1. 先從zk獲取go_servers節點下所有子節點,這樣就拿到了所有註冊的server
  2. 從server列表中選中一個節點(這裡只是隨機選取,實際服務一般會提供多種策略),創建連接進行通信

這裡為了演示,我們每次client連接server,獲取server發送的時間後就斷開。主要代碼如下:
zkutil:用來處理zk操作

func GetConnect() (conn *zk.Conn, err error) {
    conn, _, err = zk.Connect(hosts, timeOut*time.Second)
    if err != nil {
        fmt.Println(err)
    }
    return
}

func RegistServer(conn *zk.Conn, host string) (err error) {
    _, err = conn.Create("/go_servers/"+host, nil, zk.FlagEphemeral, zk.WorldACL(zk.PermAll))
    return
}

func GetServerList(conn *zk.Conn) (list []string, err error) {
    list, _, err = conn.Children("/go_servers")
    return
}

server: server端操作

func main() {
    go starServer("127.0.0.1:8897")
    go starServer("127.0.0.1:8898")
    go starServer("127.0.0.1:8899")

    a := make(chan bool, 1)
    <-a
}

func starServer(port string) {
    tcpAddr, err := net.ResolveTCPAddr("tcp4", port)
    fmt.Println(tcpAddr)
    checkError(err)

    listener, err := net.ListenTCP("tcp", tcpAddr)
    checkError(err)

    //註冊zk節點q
    conn, err := example.GetConnect()
    if err != nil {
        fmt.Printf(" connect zk error: %s ", err)
    }
    defer conn.Close()
    err = example.RegistServer(conn, port)
    if err != nil {
        fmt.Printf(" regist node error: %s ", err)
    }

    for {
        conn, err := listener.Accept()
        if err != nil {
            fmt.Fprintf(os.Stderr, "Error: %s", err)
            continue
        }
        go handleCient(conn, port)
    }

    fmt.Println("aaaaaa")
}

func handleCient(conn net.Conn, port string) {
    defer conn.Close()

    daytime := time.Now().String()
    conn.Write([]byte(port + ": " + daytime))
}

client: 客戶端操作


func main() {
    for i := 0; i < 100; i++ {
        startClient()

        time.Sleep(1 * time.Second)
    }
}

func startClient() {
    // service := "127.0.0.1:8899"
    //獲取地址
    serverHost, err := getServerHost()
    if err != nil {
        fmt.Printf("get server host fail: %s \n", err)
        return
    }

    fmt.Println("connect host: " + serverHost)
    tcpAddr, err := net.ResolveTCPAddr("tcp4", serverHost)
    checkError(err)
    conn, err := net.DialTCP("tcp", nil, tcpAddr)
    checkError(err)
    defer conn.Close()

    _, err = conn.Write([]byte("timestamp"))
    checkError(err)

    result, err := ioutil.ReadAll(conn)
    checkError(err)
    fmt.Println(string(result))

    return
}

func getServerHost() (host string, err error) {
    conn, err := example.GetConnect()
    if err != nil {
        fmt.Printf(" connect zk error: %s \n ", err)
        return
    }
    defer conn.Close()
    serverList, err := example.GetServerList(conn)
    if err != nil {
        fmt.Printf(" get server list error: %s \n", err)
        return
    }

    count := len(serverList)
    if count == 0 {
        err = errors.New("server list is empty \n")
        return
    }

    //隨機選中一個返回
    r := rand.New(rand.NewSource(time.Now().UnixNano()))
    host = serverList[r.Intn(3)]
    return
}

我們先啟動server,可以看到有三個節點註冊到zk:

再啟動client,可以看到每次client都會隨機連接到一個節點進行通信:

至此,我們的分散式server就實現了,夠簡單吧。當然,實際項目中這樣的實現是遠遠不夠的,有興趣的可以研究下一些開源的框架。
相關代碼:github


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 一、Java讀取文件 案例1:讀取D盤的1.txt文件 編碼: 結果: 二、寫入文件 案例:講D盤中的1.txt文件內容寫入D盤一個2.txt文件。 編碼: ...
  • 利用 Python 對 Excel 文件進行操作需要使用第三方庫: openpyxl,可執行 pip install openpyxl 進行安裝 1. 導入 openpyxl 模塊 導入 openpyxl 模塊後,利用它的 load_workbook() 方法可以打開一個 Excel 文件,該方法使 ...
  • 這篇將分享安裝postgresql,配置tk.mybatis的詳細步驟以及在這過程中可能遇到的一些小問題。通過少量的代碼完成大部分的工作,重覆勞動交給工具完成。 ...
  • 【寫在開頭:】 『 函數:從名稱上來說是一個數學名詞,是萊布尼茲在1694年開始使用的,用來描述跟曲線相關的一個量,如曲線的斜率或者曲線上的某一點。 在面向過程的C語言中,用來完成一些特定的功能。 而在OC或Java等一些面向對象的語言中,稱之為方法。表示某個對象所具有的行為。 方法也好,函數也罷, ...
  • 這次沒有忘記,其實也忘了,只不過剛好碰上我換瀏覽器,正好想起來這事! 我把用了很長一段時間的chrome瀏覽器換成搜狗瀏覽器了,好多網站原先記住的用戶名和密碼都沒有了我還需要重新輸入! 今天再放一段美術幫我做的動作,這個比上次的做的還好,連木屐離腳的感覺都做出來了, 我覺得愛玩格鬥游戲的人從這套動作 ...
  • Swift 3.0 Swift 3.0 Swift 2.x Swift 2.x Swift 1.x Swift 1.x ...
  • 表單重覆提交是在多用戶Web應用中最常見、帶來很多麻煩的一個問題。有很多的應用場景都會遇到重覆提交問題,比如: 點擊提交按鈕兩次。 點擊刷新按鈕。 使用瀏覽器後退按鈕重覆之前的操作,導致重覆提交表單。 使用瀏覽器歷史記錄重覆提交表單。 瀏覽器重覆的HTTP請求。 幾種防止表單重覆提交的方法 禁掉提交 ...
  • public class SuperClass{ public void printA(){ System.out.print("SuperClass-printA"); printB(); } public void printB(){ System.out.print("SuperClass-p ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...