長篇圖解etcd核心應用場景及編碼實戰

来源:https://www.cnblogs.com/zimug/archive/2022/08/31/16642578.html
-Advertisement-
Play Games

大家好啊，我是字母哥，今天寫一篇關於etcd的文章，其實網上也有很多關於etcd的介紹，我就簡明扼要，總結提煉，期望大家通過這一篇文章掌握etcd的核心知識以及編碼技能！ 本文首先用大白話給大家介紹一下etcd是什麼？這部分內容網上已經有很多了。 etcd有哪些應用場景？這些應用場景的核心原理是什麼 ...


大家好啊，我是字母哥，今天寫一篇關於etcd的文章，其實網上也有很多關於etcd的介紹，我就簡明扼要，總結提煉，期望大家通過這一篇文章掌握etcd的核心知識以及編碼技能！

  • 本文首先用大白話給大家介紹一下etcd是什麼？這部分內容網上已經有很多了。
  • etcd有哪些應用場景？這些應用場景的核心原理是什麼？
  • 最後不能光動嘴不動手。先搭建一個etcd單機版，再使用java的客戶端操作etcd數據。

本文旨在幫助大家理解etcd，從巨集觀角度俯瞰etcd全局，掌握etcd的基本操作技能。後續我還會寫一個系列的文章，將每一種應用場景代碼化，期待大家關註我和我的公眾號：字母哥雜談。後續計劃章節內容如下：

  • 《搭建高可用etcd集群》
  • 《基於etcd實現分散式鎖（java代碼實現）》
  • 《基於etcd實現配置變更通知（java代碼實現）》
  • 《基於etcd實現服務註冊與發現（java代碼實現）》
  • 《基於etcd實現分散式系統節點leader選舉（java代碼實現）》

一、白話etcd與zookeeper

用過linux的朋友請舉手，好的，我看見了！ 在 linux 中所有自動安裝的系統軟體配置文件都存儲在一個名為/etc的目錄中。“d”表示distributed分散式，etcd為分散式模型，所以etcd的核心應用場景是：分散式系統的配置信息存儲。

網上很多文章上來第一句話照搬英文官網：etcd 是一個高度一致的分散式鍵值存儲系統。很多朋友看完就問了，這玩意和redis有啥區別？ 筆者要說，真的不要這麼比，etcd從名字上就已經告訴你了，它是存儲配置信息(元數據)的。和redis在架構應用上就不在一個層面，它對標的產品應該是zookeeper。雖然zookeeper在很多java的分散式系統的應用中比較廣泛，但是etcd作為後起之秀，乘kubernetes的東風，大有超越zookeeper的趨勢。

  • zookeeper是使用java寫的， etcd是使用go語言編寫的。zookeeper使用了TCP協議，其交互報文規則是完全自定義的，如果不使用zookeeper提供的SDK就無法操作數據。而etcd使用的是google的gRPC協議，普適性更好一些。
  • zookeeper對於一次請求，開啟一個socket進行監聽。而etcd的監聽管道channel可以反覆被利用，從IO性能到系統資源的利用的角度，etcd無疑是更優秀的。
  • zookeeper使用zab協議保證集群節點配置信息的一致性，etcd使用raft協議。期望詳細瞭解raft協議的，點擊《raft協議中文介紹》。

大部分功能和zookeeper都是一樣的，目前看java程式員用zookeeper的更多，其他程式員用etcd更多。都是基於習慣，但筆者推薦etcd。

二、etcd的4個核心機制

etcd以key-value的形式進行數據的存儲. 配合下麵的這四種機制,使得etcd的應用場景更加的廣泛.

  • Prefix 機制：即首碼機制，也稱目錄機制，客戶端向etcd放入2個鍵值對配置, 假如一個key是“/test/key1" , 另一個key是"/test/key2". 則通過首碼"/test"查詢etcd，返回一個列表包含key為“/test/key1" 和"/test/key2"的鍵值對數據；
  • Watch 機制：即監聽機制，watch機制針對某個key進行監聽,也支持針對首碼進行範圍監聽. 當被監聽的key 或首碼範圍發生變化的時候，客戶端會收到變更通知；
  • Lease 機制：即租約機制（TTL，Time To Live），支持為key-value增加一個存活時間,超過這個時間key-value將過期被刪除. 支持解約(刪除key-value),續約(增加TTL時間)等操作.
  • Revision 機制：每個key帶有一個 全局唯一的Revision 號，每一次事務加1，它是全局唯一的，所以通過Revision可以判定數據寫操作的順序,對於實現分散式鎖和隊列非常有幫助.

三、Leader選舉與客戶端交互

使用etcd的時候，為了保證高可用，通常採用集群的部署方式。部署奇數個節點，通常建議是3個或5個，因為etcd集群之間需要通過網路交互保證配置信息的一致性。分散式多節點保證了高可用，但是節點太多了也不好，越多的節點網路消耗越大。至於為什麼是奇數個？這就涉及到Leader選舉的問題，奇數個方便投票出結果。

etcd使用raft演算法保證集群內各個節點之間數據一致性。raft演算法將集群內的節點分為Leader, Follower, Candidate(候選人)這三個角色。

  • 集群初始化的時候，每個節點都是Follower角色。通過raft演算法選舉投票，選出一個節點作為Leader。
  • Leader作為主節點，與其他節點維持心跳，並同步數據至其他節點。
  • 當Follower一段時間內沒有收到leader的心跳，就會將自己角色改為Candidate候選者，併發起一次新的選舉，選舉新的Leader。

客戶端在操作etcd集群數據的時候：

  • 讀操作：客戶端可以訪問任意節點進行數據的讀操作
  • 寫操作：客戶端訪問任意節點進行寫操作，如果該節點是Follower，則將請求轉發給Leader。由Leader負責數據的寫操作(增刪改)，將數據持久化，並向Follower發送同步數據的消息。

四、etcd的應用場景

4.1. kubernetes大腦

目前，etcd的最典型的應用場景就是作為Kubernetes 集群的大腦。


如果把kubernetes比作一個大飯店，那麼etcd就是這個飯店的進銷存+客戶關係管理系統。

  • kubernetes作為容器編排服務，將面向客戶提供的各種服務進行合理的資源分配，服務編排。
  • 不可避免地，有一些kubernetes集群的配置和狀態數據，例如 pod 的數量、它們的狀態、命名空間等。需要有一個統一的記錄、管理的地方，它就是etcd。

最重要的是：etcd具備watch監聽的功能，一旦某個配置或者某個狀態發生變更，集群內所有的服務全都可以通過watch監聽機制實時獲取到消息，進而做出進一步的響應。 幾乎etcd的所有應用場景，都是基於watch監聽機制產生的，包括我們後面為大家介紹的服務註冊發現和訂閱通知。

4.2. 服務註冊與發現

其實kubernetes也利用etcd實現服務註冊發現機制，但是上面的那張圖不太好說明，我新畫了兩張圖說明etcd在實現服務註冊發現機制中的作用。

所謂的服務註冊實現原理就是：服務在啟動的時候，向etcd寫入一條配置數據，該條配置數據說明自己的服務名稱，服務ip地址，服務埠等信息。

所謂的服務發現實現原理舉例：服務C的某個實例希望訪問服務A，服務C向etcd詢問服務A的訪問地址，etcd響應結果：服務A有三個實例，地址列表如：xxx.xxx.xxx.xxx:埠、yyy.yyy.yyy.yyy:埠，zzz.zzz.zzz.zzz:埠。服務C不需要訪問三個實例，訪問其中一個就可以得到結果，所以它按照自己的負載均衡演算法選了一個，這個就叫做：客戶端負載均衡。

4.3. 健康檢查與狀態變更通知

銜接上文：服務C下一次訪問服務A的時候，還需要訪問etcd麽？答案是不需要，它訪問過一次之後，就會自己維護一個服務A訪問地址的列表，除非這個列表發生變化，否則是不會再次去詢問etcd的。
那麼一個服務怎麼知道另一個服務的列表發生變化呢？比如：服務A的實例註冊狀態發生變化。可能是由於某種原因掛掉了，可能是OOM或者是網路問題等。

  • 服務在註冊到etcd之後，會保存一個關於該服務的註冊配置信息，該註冊配置信息由一個TTL，etcd同時會與該服務維持心跳。一旦超過TTL時間，無法得到服務的心跳響應，etcd就認為該節點的健康狀態出現了問題，就會將該節點下線（註冊配置信息刪除）。
  • 服務在註冊到etcd之後，會保持對etcd狀態數據變更的監聽，一旦獲取監聽結果：服務A的實例狀態發生變更，該服務就會從etcd重新拉取服務A的註冊列表。

4.4.分散式鎖

跨進程跨系統的多線程操作公共資源，發生多線程競爭，為了避免線程不安全，需要使用分散式鎖。如果多線程在單個進程內發生資源競爭，就是用Lock就可以了，不需要分散式鎖。比如：你在mysql庫裡面有一個用戶餘額數據，多個進程內的線程同時更改這個值，可能發生併發的數據覆蓋。為了避免這樣的問題，多個進程排排隊，A先來，A釋放了鎖B再來，B釋放了鎖C再來。


舉例：上圖的3個client代表三個服務，都要操作某個資源數據。

  • 在嘗試調用加鎖API的時候，client1獲取到的revision=1,它優先獲得加鎖的資格。加鎖就是加一個帶有revision的配置記錄。其他的所有的服務，都通過watch機制監聽鎖的釋放。
  • client在嘗試調用加鎖API的時候，被分配了revision。並且按照revision進行了排序，監聽距離自己revision差值最小，而且小於自己的Revision，不會產生驚群效應。

4.5.實現消息隊列(純扯淡)

我覺得使用etcd實現消息隊列，是一種純扯淡的做法。如果大家有什麼異議，歡迎留言！

不是說做不了，確實寫個demo是可以的。往etcd裡面放數據，再通過watch機制進行監聽，這不就是一個典型的消息隊列麽？扯淡！如果我只為了實現消息數據的發佈訂閱，其實有很多辦法，我還用搭一個etcd集群？Spring的Event機制，java的響應式編程，哪怕自己搞一個BlockQueue呢，是不是都能實現消息的發佈訂閱。

我們之所以使用kafka、RocketMQ這樣的消息隊列，肯定是因為我們的非同步數據達到一定的規模了。達到規模的非同步消息數據傳遞根本就不是etcd的應用場景，正如本文開頭所述：別忘了它叫做etc阿就d，它就是一個為分散式系統存儲配置信息的，不是消息中間件。

五、etcd安裝

本文為大家安裝一個可以用於實驗環境的etcd單機版,我們可以用它進行實驗,後續我還會寫文章介紹etcd集群的安裝方式.
下載etcd的安裝包,訪問github-etcd,我使用的是linux操作系統64位,所以下載的安裝包是:etcd-v3.5.4-linux-amd64.tar.gz .如果網路條件不允許,可以搜索"etcd國內下載加速",選擇合適的下載安裝包進行安裝即可.

首先將安裝包解壓,解壓之後cd進入安裝目錄,將etcd和etcdctl兩個命令copy到/usr/local/bin/目錄下麵.

tar zxvf etcd-v3.5.4-linux-amd64.tar.gz;
cd etcd-v3.5.4-linux-amd64;
cp etcd etcdctl /usr/local/bin/;

通過etcd --version命令查看etcd的版本,同時可以驗證安裝結果.如果不想敲全路徑,可以把/usr/local/bin目錄加入系統的PATH環境變數.

/usr/local/bin/etcd --version

啟動etcd,這裡的listen-client-urls和advertise-client-urls配置的作用是允許遠程連接,0.0.0.0表示監聽當前伺服器的所有ip, 監聽埠是2379. 假如你的伺服器有多塊網卡,多個固定ip,你想指定etcd服務在某一個ip上提供服務,就可以用這個ip替換0.0.0.0

/usr/local/bin/etcd  --listen-client-urls 'http://0.0.0.0:2379' --advertise-client-urls 'http://0.0.0.0:2379'

etcd啟動之後, 可以通過etcdctl命令向etcd中添加配置,如下所示使用put命令添加一個key=/dir1,value=aaa的鍵值對數據.可以使用get命令獲取該配置信息.

# /usr/local/bin/etcdctl put /dir1 aaa
OK
# /usr/local/bin/etcdctl get /dir1
/dir1
aaa

六、jetcd的編碼實現配置管理

下麵為大家介紹通過java API的方式操作etcd的數據,首先通過maven的坐標引入jetcd.我使用的版本相對比較舊,最新的版本已經是0.7.8,不過我在使用的時候出現了與netty版本不一致的情況,報錯:找不到netty相關的一些類.所以我就回退到0.3.0版本,使用方式上都是一樣的.

<dependency>
    <groupId>io.etcd</groupId>
    <artifactId>jetcd-core</artifactId>
    <version>0.3.0</version>
</dependency>

下麵的代碼是使用jetcd操作etcd的配置數據,實現了數據的寫操作,讀操作,刪除操作.詳細用法看代碼吧.下麵的代碼是Junit 5的單元測試用例的寫法.

import io.etcd.jetcd.ByteSequence;
import io.etcd.jetcd.Client;
import io.etcd.jetcd.KV;
import io.etcd.jetcd.kv.GetResponse;
import io.etcd.jetcd.kv.PutResponse;
import org.junit.jupiter.api.*;

import java.nio.charset.StandardCharsets;
import java.util.concurrent.CompletableFuture;
import java.util.concurrent.ExecutionException;

import static junit.framework.TestCase.assertNotNull;

//這個註解配合函數的Order註解,決定測試用例函數的執行順序
@TestMethodOrder(MethodOrderer.OrderAnnotation.class)
public class EtcdTest {
  private static Client etcdClient;

  @BeforeAll
  static void  init(){
    etcdClient = Client.builder()
             //這裡的etcd服務列表可以寫多個,用逗號分隔
            .endpoints("http://192.168.161.3:2379".split(","))
            .build();
  }

  @Test
  @Order(1)
  @DisplayName("etcd寫配置操作")
  void putKV() throws ExecutionException, InterruptedException {
    KV kv = etcdClient.getKVClient();
    ByteSequence key = ByteSequence.from("key-str", StandardCharsets.UTF_8);
    ByteSequence value = ByteSequence.from("value-str", StandardCharsets.UTF_8);
    //put key-value配置信息
    CompletableFuture<PutResponse> putRsp = kv.put(key,value);
    assertNotNull(putRsp.get().getHeader());
  }


  @Test
  @Order(2)
  @DisplayName("etcd讀配置操作")
  void getKV() throws ExecutionException, InterruptedException {
    KV kv = etcdClient.getKVClient();
    ByteSequence key = ByteSequence.from("key-str", StandardCharsets.UTF_8);
    //通過key獲取值
    CompletableFuture<GetResponse> getRsp = kv.get(key);
    String getBackValue = getRsp.get().getKvs().get(0).getValue().toString(StandardCharsets.UTF_8);
    System.out.println("從etcd通過key獲取value值為：" + getBackValue);
  }


  @Test
  @Order(3)
  @DisplayName("刪除配置操作")
  void deleteKV() {
    KV kv = etcdClient.getKVClient();
    ByteSequence key = ByteSequence.from("key-str", StandardCharsets.UTF_8);
    //通過key刪除數據
    kv.delete(key);
  }
}

上面的代碼只介紹了etcd的最基本的key-value操作,其實etcd客戶端還提供了很多的API,這些都將在我後續的文章中分散式鎖,服務註冊發現,配置變更監聽,分散式系統Leader選舉的內容中為大家介紹.

//租約
Lease lease=etcdClient.getLeaseClient();
//監聽
Watch watch =etcdClient.getWatchClient();
//選舉
Election election =etcdClient.getElectionClient();
//鎖
Lock lock=etcdClient.getLockClient();

歡迎關註我的公告號：字母哥雜談，回覆003贈送作者專欄《docker修煉之道》的PDF版本，30餘篇精品docker文章。字母哥博客：zimug.com


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • starter包~mica-auto自動生成spring.factories等元文件
    首先，進行springboot2.7之後，官方不推薦使用/META-INF/spring.factories，轉成和SPI比較類似的/META-INF/spring/org.springframework.boot.autoconfigure.AutoConfiguration.imports文件， ...
  • MyBatis 別再亂用 foreach 批量插入了，5000 數據用了 14 分鐘，實力勸退。。
    近日，項目中有一個耗時較長的Job存在CPU占用過高的問題，經排查發現，主要時間消耗在往MyBatis中批量插入數據。mapper configuration是用foreach迴圈做的，差不多是這樣。（由於項目保密，以下代碼均為自己手寫的demo代碼） <insert id="batchInsert ...
  • Docker倉庫管理鏡像 -- 公共倉庫【Docker Hub】和私人倉庫【Registry】和【harbor】
    鏡像倉庫管理 docker倉庫,用來管理鏡像。主要分為公共倉庫和私人倉庫。下麵介紹了公共倉庫Docker Hub、私人倉庫Registry和harbor。 DockerHUb倉庫管理 什麼是DockerHUb 保存和分發鏡像的最直接方法就是使用 Docker Hub。 ​ Docker Hub 是 ...
  • HashMap（get和put）jdk8
    get邏輯： HashMap數據結構為數組加鏈表加紅黑樹、只有當鏈表數量大於8時、才將鏈表轉換為紅黑樹、時間複雜度由鏈表的O(N)轉換為紅黑樹的O(logN) // 主要看getNode下的方法、傳入key的hash值和key public V get(Object key) { Node<K,V> ...
  • 美團二面：加密後的數據如何進行模糊查詢？？被問懵了。。
    我們知道加密後的數據對模糊查詢不是很友好，本篇就針對加密數據模糊查詢這個問題來展開講一講實現的思路，希望對大家有所啟發。 為了數據安全我們在開發過程中經常會對重要的數據進行加密存儲，常見的有：密碼、手機號、電話號碼、詳細地址、銀行卡號、信用卡驗證碼等信息，這些信息對加解密的要求也不一樣，比如說密碼我 ...
  • JDK1.6中String類的坑，快讓我裂開了…
    摘要：JVM優化的目標就是：儘可能讓對象都在新生代里分配和回收，儘量別讓太多對象頻繁進入老年代，避免頻繁對老年代進行垃圾回收，同時給系統充足的記憶體大小，避免新生代頻繁的進行垃圾回收。 本文分享自華為雲社區《千萬不要在生產環境使用這個版本的JDK，這不？記憶體又溢出了！快要裂開了！（建議收藏）》，作者： ...
  • Python編程快速上手 PDF高清版下載
    《Python編程快速上手》PDF高清版免費下載地址 內容簡介 · · · · · · 如今，人們面臨的大多數任務都可以通過編寫電腦軟體來完成。Python是一種解釋型、面向對象、動態數據類型的高級程式設計語言。通過Python編程，我們能夠解決現實生活中的很多任務。 本書是一本面向實踐的Pyth ...
  • 【Java面試】帶你從面試官的角度深入剖析，什麼是Java虛擬機為什麼要使用？
    “什麼是Java虛擬機，為什麼要使用”。 最近一個1年Java開發經驗的同學去面試阿裡，遇到這個問題向我求助。 大家好，我是Mic，一個工作14年的Java程式員。 那麼，這個問題，面試官希望考察什麼呢？ 問題解析 Java虛擬機，是Java應用程式運行的平臺。 很多初學者，第一步基本上都是學習怎麼 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類