etcd v3版本生產級集群搭建以及實現一鍵啟動腳本

来源:https://www.cnblogs.com/zimug/archive/2022/09/08/16669254.html
-Advertisement-
Play Games

本專欄的上一篇文章寫了《長篇圖解etcd核心應用場景及編碼實戰》，本文繼續。後續計劃章節內容如下： 《長篇圖解etcd核心應用場景及編碼實戰》 《搭建高可用etcd集群》 《基於etcd實現分散式鎖（java代碼實現）》 《基於etcd實現配置變更通知（java代碼實現）》 《基於etcd實現服務註 ...


本專欄的上一篇文章寫了《長篇圖解etcd核心應用場景及編碼實戰》，本文繼續。後續計劃章節內容如下：

  • 《長篇圖解etcd核心應用場景及編碼實戰》
  • 《搭建高可用etcd集群》
  • 《基於etcd實現分散式鎖（java代碼實現）》
  • 《基於etcd實現配置變更通知（java代碼實現）》
  • 《基於etcd實現服務註冊與發現（java代碼實現）》
  • 《基於etcd實現分散式系統節點leader選舉（java代碼實現）》

很多人知道etcd是因為kubernetes，所以最常用的etcd集群的搭建方法是通過k8s來配置啟動一個etcd集群。但是etcd除了搭配k8s進行使用，還有很多其他的應用場景，比如：分散式鎖、配置變更通知、分散式系統多節點的leader選舉等。所以此文為大家介紹的etcd集群安裝脫離k8s，就是在linux伺服器上直接安裝etcd的高可用服務集群。

一、準備工作

以下的準備工作在三台伺服器上都要完成

1.1. 規劃主機伺服器

首先需要規劃伺服器，因為etcd集群需要選舉Leader，所以建議集群節點的個數是3或者5。也不要太多，節點之間會有數據複製保證數據一致性，節點越多網路及伺服器性能消耗越大。需要確保伺服器之間的網路聯通性。

使用root用戶在/etc/hosts文件中追加如下的配置，使主機名稱hostname與ip之間建立映射關係。訪問peer1就是訪問對應的主機ip。

192.168.161.3       peer1
192.168.161.4       peer2
192.168.161.5       peer3

1.2. 新建etcd用戶

在CentOS的linux發行版下，執行如下命令會創建用戶及用戶組etcd，並自動創建/home/etcd目錄。如果你使用的是其他的操作系統發行版，可能需要使用useradd命令，並自行創建這個目錄。

groupadd etcd
adduser -g etcd etcd

使用root用戶新建用戶及用戶主目錄。預設的新建用戶是沒有密碼，可以使用passwd etcd命令為其設置密碼。

1.3.開放防火牆埠

開放防火牆，使用如下3條命令開放etcd的標準埠2379、2380的埠。筆者在實際安裝的過程中，通常不使用這2個埠，因為埠越固定，被攻擊的可能性就越大。我們隨機選擇一個不常用的埠，安全性會更好一些，這裡我還是使用標準埠了。集群內部的各個節點通過2380埠進行通信，2379埠負責對外與客戶端通信

firewall-cmd --zone=public --add-port=2379/tcp --permanent;
firewall-cmd --zone=public --add-port=2380/tcp --permanent;
firewall-cmd --reload

使用root用戶操作防火牆。

1.4.創建必要的目錄

使用su - etcd從root用戶切換到etcd用戶，在etcd用戶的主目錄/home/etcd下麵新建如下的目錄, 用於etcd數據存儲

mkdir -p /home/etcd/data;

1.5.下載etcd並解壓

etcd用戶下載etcd安裝包，從github上下載比較慢，我選擇的是國內華為雲提供的加速鏡像。如果你不想使用我的版本，你也可以搜索“etcd國內下載加速”選擇自己需要的版本。wget命令下載，tar命令進行解壓，這個不必多說。

wget https://mirrors.huaweicloud.com/etcd/v3.5.4/etcd-v3.5.4-linux-amd64.tar.gz;
tar -xzvf /home/etcd/etcd-v3.5.4-linux-amd64.tar.gz;

1.6. 集群主機免密登陸

後續我們在進行etcd運維，比如說啟動集群的時候不希望一臺伺服器一臺伺服器的執行命令，而是希望在一臺伺服器上完成操作，這就需要集群etcd用戶之間能夠免密登陸對方。這裡我就簡單介紹了，講解該如何實現，原理大家搜文章學習下。etcd許可權用戶根目錄下執行如下命令，不論提示輸入什麼，一路回車即可。

ssh-keygen -t rsa
  • 將公鑰保存到authorized_keys文件中
cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys
  • 將公鑰分發給peer2、peer3主機。按提示輸入etcd的登陸密碼
ssh-copy-id -i ~/.ssh/id_rsa.pub -p22 etcd@peer2;

需要分開執行，因為執行命令的過程中需要輸入密碼。

ssh-copy-id -i ~/.ssh/id_rsa.pub -p22 etcd@peer3;

這樣，我們peer1免密登錄peer2、peer3的配置工作就完成了。 同樣的操作，在peer2、peer3伺服器上執行，將自己的公鑰發給另外2台伺服器，主機名稱替換一下。這樣設置完成之後，我們在這三台伺服器中的任意一臺伺服器上etcd用戶下執行如ssh etcd@peer3就可以登陸peer3，不需要輸入密碼，證明我們的操作成功了。

二、集群啟動與驗證

2.1. 一鍵啟動腳本實現

完成上面的準備工作，實際上我們的etcd集群安裝就已經完成了，實際的安裝動作就是解壓，解壓目錄下的etcd、etcdctl、etcdutl都是可執行文件，可以直接使用。

下麵我們使用這個腳本來啟動etcd集群（只需要在規劃好的3台伺服器上任意一臺執行一次該腳本即可）。我們給這個腳本起個名字start-etcds.sh,並給它賦予可執行許可權。

#!/bin/bash

## ------------config-----------------
export ETCDCTL_API=3
CLUSTER_TOKEN=etcdcluster01
DATADIR=/home/etcd/data
HOSTNAME1=peer1
HOSTNAME2=peer2
HOSTNAME3=peer3
HOSTIP1=192.168.161.3
HOSTIP2=192.168.161.4
HOSTIP3=192.168.161.5
CLUSTER=${HOSTNAME1}=http://${HOSTIP1}:2380,${HOSTNAME2}=http://${HOSTIP2}:2380,${HOSTNAME3}=http://${HOSTIP3}:2380
CLUSTER_IPS=(${HOSTIP1}  ${HOSTIP2}  ${HOSTIP3})
CLUSTER_NAMES=(${HOSTNAME1}  ${HOSTNAME2}  ${HOSTNAME3})

## ---------------start etcd node------------------
for i in $(seq 0 `expr ${#CLUSTER_IPS[@]} - 1`); do
    nodeip=${CLUSTER_IPS[i]}
    nodename=${CLUSTER_NAMES[i]}

    ssh -T $nodeip <<EOF
    nohup /home/etcd/etcd-v3.5.4-linux-amd64/etcd  \
        --name ${nodename} \
        --data-dir  ${DATADIR}  \
        --initial-advertise-peer-urls http://${nodeip}:2380 \
        --listen-peer-urls http://${nodeip}:2380 \
        --advertise-client-urls http://${nodeip}:2379 \
        --listen-client-urls http://${nodeip}:2379 \
        --initial-cluster ${CLUSTER} \
        --initial-cluster-state new \
        --initial-cluster-token ${CLUSTER_TOKEN} >> ${DATADIR}/etcd.log 2>&1  &
EOF
echo 從節點 $nodename 啟動etcd節點...[ done ]

sleep 5
done

這個腳本分成兩個部分，第一個部分config是我們自定義的shell腳本變數

  • export ETCDCTL_API=3表示使用版本號為3的etcdctl API。
  • CLUSTER_TOKEN一個etcd集群有一個唯一的token，隨意設置保證唯一性即可。
  • DATADIR表示etcd的數據磁碟存儲路徑
  • HOSTNAME1、2、3表示我們事先規劃好的3台伺服器的主機名稱，即：linux主機hostname命令的執行結果。
  • HOSTIP1、2、3表示我們事先規劃好的3台伺服器的IP地址。（如果有多塊網卡，請選擇對外提供服務的網卡ip）
  • CLUSTER是etcd集群配置的標準格式
  • CLUSTER_IPS、CLUSTER_NAMES分別是集群伺服器各節點的ip和主機名稱數組

第二個部分是etcd集群的啟動腳本，因為我們已經配置了etcd用戶的主機之間免密登陸，所以可以通過一個腳本啟動3台伺服器上的etcd服務。

  • for i in $(seq 0 expr ${#CLUSTER_IPS[@]} - 1); do 表示for迴圈，迴圈CLUSTER_IPS數組的長度賦值給i，所以i隨著for迴圈依次等於1、2、3。
  • nodeip、nodename等於CLUSTER_IPS、CLUSTER_NAMES數組中下標為i的元素，即：主機的ip、主機的名稱。
  • for迴圈遍歷3台伺服器，依次使用ssh -T $nodeip登陸3台伺服器，因為上文已經做過免密登陸，所以無需密碼。
  • EOF作為段落分割，其中間包裹的命令就是etcd實例的啟動命令。

etcd的啟動命令如下：

  • /home/etcd/etcd-v3.5.4-linux-amd64/etcd :啟動etcd命令
  • --name: etcd節點名稱，保證唯一性，我們使用etcd所部署的主機名稱即可。
  • --data-dir: etcd數據存儲位置
  • --initial-advertise-peer-urls ，
    --listen-peer-urls 指定當前節點與集群內其他節點通信的url。如果該節點存在網路代理，--initial-advertise-peer-urls 設置為代理的地址：2379。
  • --advertise-client-urls ,
    --listen-client-urls指定客戶端與當前節點通信的url。如果該節點存在網路代理， --advertise-client-urls 設置為代理的地址：2380。
  • --initial-cluster集群各節點的通信地址列表
  • --initial-cluster-state新建的級群使用new，一個節點加入已經存在的集群用existing
  • --initial-cluster-token集群的token唯一標識。

2.2.驗證集群

使用etcdctl member list查看當前的etcd集群包含多少個節點以及節點的狀態

/home/etcd/etcd-v3.5.4-linux-amd64/etcdctl \
--endpoints=192.168.161.3:2379,192.168.161.4:2379,192.168.161.5:2379 \
member list

上面的命令結果中能看到狀態是started證明我們的集群處於正常運行狀態。如果想查詢集群內那個節點是Leader節點，我更經常使用的命令是下麵的這個

/home/etcd/etcd-v3.5.4-linux-amd64/etcdctl \
--endpoints=192.168.161.3:2379,192.168.161.4:2379,192.168.161.5:2379 \
endpoint status -w table

顯示結果如下。可以看到“IS LEADER=true”的節點是集群的Leader節點：

碼文不易，如果您覺得有幫助，請幫忙點擊在看或者分享，沒有您的支持我可能無法堅持下去！
歡迎關註我的公告號：字母哥雜談，回覆003贈送作者專欄《docker修煉之道》的PDF版本，30餘篇精品docker文章。字母哥博客：zimug.com


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 一本軟考教材，治好了我多年的低血壓
    7.線程的應用03 7.4坦克大戰5.0版 增加功能： 我方坦克在發射的子彈消亡之後，才能發射新的子彈==>拓展：發射多顆子彈怎麼辦，控制一次最多只能發射5顆子彈 讓敵人坦克發射的子彈消亡之後，可以再發射子彈 當地人的坦克擊中我方坦克之後，我方坦克小時，並出現爆炸效果 7.4.1功能1plus:我方 ...
  • MyBatis（五）：配置之屬性優化
    一、什麼是配置之屬性優化 在解答這個問題之前我們應該先明白MyBatis的配置有哪些？ 官方文檔中文網：配置_MyBatis中文網。 我們還是直接看官方文檔中給出的內容： MyBatis 的配置文件包含了會深深影響 MyBatis 行為的設置和屬性信息。 配置文檔的頂層結構如下： configura ...
  • 面試官：@Autowired, @Resource, @Inject 三個註解的區別？一下懵了。。。
    作者：Richard_Yi 來源：juejin.cn/post/6844904056230690824 前言 本章的內容主要是想探討我們在進行Spring 開發過程當中，關於依賴註入的幾個知識點。感興趣的讀者可以先看下以下問題： @Autowired, @Resource, @Inject 三個註解 ...
  • Python遞歸的幾個經典案例
    當我們碰到諸如需要求階乘或斐波那契數列的問題時，使用普通的迴圈往往比較麻煩，但如果我們使用遞歸時，會簡單許多，起到事半功倍的效果。這篇文章主要和大家分享一些和遞歸有關的經典案例，結合一些資料談一下個人的理解，也藉此加深自己對遞歸的理解和掌握一些遞歸基礎的用法。 一、遞歸的簡介 1、遞歸的百度百科定義 ...
  • Smartbi繪製表格
    Smartbi操作 繪製報表 實現需求 在需要向資料庫中查詢一些欄位並繪製成一個Excel表格時，可以不需要經過後臺寫代碼，直接通過在Smartbi中寫SQL語句查詢資料庫，拿到數據填充到準備好的Excel模板中。 前期準備 安裝Smartbi插件（需要office）安裝好後Excel中會有相應的S ...
  • 【Python實戰】全球疫情數據採集, 並做可視化展示
    前言 😋 大家早好、午好、晚好吖~ 知識點: 爬蟲基本流程 requests 發送請求 re 正則表達式 json 結構化數據解析 開發環境: python 3.8: 解釋器 pycharm: 代碼編輯器 requests 發送請求 pyecharts 繪製圖表 pandas 讀取數據 實現代碼: ...
  • Docker 環境 Nacos2 MySQL8
    本文介紹 docker 環境下安裝並單機運行 Nacos2，使用 docker 環境下的 MySQL 8 存儲數據。 1 拉取鏡像 1.1 創建目錄 在硬碟上創建 nacos 的有關目錄： mkdir -p /Users/yygnb/dockerMe/nacos/conf /Users/yygnb/ ...
  • Python圖像處理丨認識圖像銳化和邊緣提取的4個運算元
    摘要：圖像銳化和邊緣提取技術可以消除圖像中的雜訊，提取圖像信息中用來表徵圖像的一些變數，為圖像識別提供基礎。 本文分享自華為雲社區《[Python圖像處理] 十七.圖像銳化與邊緣檢測之Roberts運算元、Prewitt運算元、Sobel運算元和Laplacian算》，作者： eastmount 。 由於 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類