使用 Sealos 在 3 分鐘內快速部署一個生產級別的 Kubernetes 高可用集群

来源:https://www.cnblogs.com/hi-linux/archive/2019/10/14/11673002.html
-Advertisement-
Play Games

本文首發於：微信公眾號「運維之美」，公眾號 ID：Hi Linux。 「運維之美」是一個有情懷、有態度，專註於 Linux 運維相關技術文章分享的公眾號。公眾號致力於為廣大運維工作者分享各類技術文章和發佈最前沿的科技信息。公眾號的核心理念是：分享，我們認為只有分享才能使我們的團體更強大。如果你想第一 ...


file

本文首發於：微信公眾號「運維之美」，公眾號 ID：Hi-Linux。

「運維之美」是一個有情懷、有態度，專註於 Linux 運維相關技術文章分享的公眾號。公眾號致力於為廣大運維工作者分享各類技術文章和發佈最前沿的科技信息。公眾號的核心理念是：分享，我們認為只有分享才能使我們的團體更強大。如果你想第一時間獲取最新技術文章，歡迎關註我們！

公眾號作者 Mike，一個月薪 3000 的雜工。從事 IT 相關工作 15+ 年，熱衷於互聯網技術領域，認同開源文化，對運維相關技術有自己獨特的見解。很願意將自己積累的經驗、心得、技能與大家分享交流，篇篇乾貨不要錯過喲。如果你想聯繫到我，可關註公眾號獲取相關信息。

前段時間，我們在 ​「使用 Kind 在 5 分鐘內快速部署一個 Kubernetes 高可用集群」一文中介紹瞭如何使用 Kind 這個開箱即可快速部署 Kubernetes 高可用集群的神器，相信不少同學用上這個神器後大大的降低了 Kubernetes 集群的部署難度和提高了 Kubernetes 集群的部署速度。不過有一點比較遺憾的是 Kind 當前僅僅支持在本地快速構建一個開發或者測試環境，目前暫時還是不支持在生產環境中部署 Kubernetes 高可用集群的。

今天，我們就要給大家介紹另一款可以支持在生產環境中部署 Kubernetes 高可用集群的利器 Sealos。

什麼是 Sealos ？

Sealos 是一個 Go 語言開發的簡單干凈且輕量的 Kubernetes 集群部署工具，Sealos 能很好的支持在生產環境中部署高可用的 Kubernetes 集群。

Sealos 架構圖

Sealos 特性與優勢

  1. 支持離線安裝，工具與部署資源包分離，方便不同版本間快速升級。

  2. 證書有效期預設延期至 99 年。

  3. 工具使用非常簡單。

  4. 支持使用自定義配置文件，可靈活完成集群環境定製。

  5. 使用內核進行本地負載，穩定性極高，故障排查也極其簡單。

Sealos 設計原則和工作原理

1. 為什麼不使用 Ansilbe 實現

Sealos 1.0 版本時是使用 Ansible 實現的，這樣在使用時就必須先安裝 Ansible 及一些 Python 的依賴包和進行一些必須的相關環境配置，使用起來還是比較複雜的。

為瞭解決這個問題，目前新版本的 Sealos 採用二進位文件方式提供。新版本 Sealos 沒有任何依賴，開箱即用。

文件分發與遠程命令都通過調用對應 SDK 實現，不依賴其它任何環境。

2. 為什麼不用 KeepAlived 和 HAProxy 實現集群高可用

無論是通過 KeepAlived 還是 HAProxy 進行高可用集群調度都會存在以下一些劣勢。

  1. 軟體源不一致可能導致容器中安裝的軟體版本也不一致，進而會引起相應檢查腳本不生效等故障。

  2. 可能因為系統依賴庫問題，在某些特定環境下就直接無法完成安裝。

  3. 只依靠檢測 HAProxy 進程是否存活是無法保證集群高可用的，正確的檢測方式應該是判斷 ApiServer 是否 healthz 狀態。

  4. Keepalived 可能存在 Cpu 占滿的情況。

3. 本地負載為什麼不使用 Envoy 或者 Nginx 實現

Sealos 高可用實現是通過本地負載方式完成的。本地負載實現方式有多種，比如：IPVS、Envoy、Nginx 等，而 Sealos 採用的是通過內核 IPVS 來實現的。

本地負載：在每個 Node 節點上都啟動一個負載均衡，同時監聽集群中的多個 Master 節點。

Sealos 選擇通過內核 IPVS 來實現主要有以下幾個原因：

  • 如果使用 Envoy 等需要在每個節點上都跑一個進程，消耗更多資源。雖然 IPVS 實際上也會多跑一個 lvscare 進程 ，但是 lvscare 只是負責管理 IPVS 規則，原理和 Kube-Proxy類似。真正的流量直接從內核層面走，不需要把數據包先走到用戶態中去處理。

  • 使用 Envoy 存在啟動優先順序的問題，比如：Join 集群時，如果負載均衡沒有建立，Kubelet 就會啟動失敗。使用 IPVS 則不會存在這樣的問題，因為我們可以在 Join 集群前先建立好轉發規則。

3.1 本地內核負載工作原理

Sealos 通過本地內核負載的方式實現每個 Node 節點負載均衡訪問所有 Master 節點，具體參見下圖。

  +----------+                       +---------------+  virturl server: 127.0.0.1:6443
  | mater0   |<----------------------| ipvs nodes    |    real servers:
  +----------+                      |+---------------+            10.103.97.200:6443
                                    |                             10.103.97.201:6443
  +----------+                      |                             10.103.97.202:6443
  | mater1   |<---------------------+
  +----------+                      |
                                    |
  +----------+                      |
  | mater2   |<---------------------+
  +----------+

在所有 Node 節點上啟動一個包含 lvscare 進程的 Static Pod 對 IPVS 進行守護。 如果檢測到 ApiServer 不可用時，Sealos 會自動清理掉所有 Node 節點上對應的主節點 IPVS 轉發規則。直到 Master 節點恢復正常時，再自動生成對應規則。為了實現以上功能，我們在 Node 節點上增加了下麵這些內容。

# 增加了一個 lvscare 的 Static Pod
$ cat /etc/kubernetes/manifests

# 自動創建的一些 IPVS 規則
$ ipvsadm -Ln            

# 增加了對虛擬 IP 的地址解析
$ cat /etc/hosts

4. 為什麼要定製 Kubeadm

  • 解決預設證書有效期只有一年的問題。

  • 更方便的實現本地負載。

  • 核心的功能均集成到 Kubeadm 中了，Sealos 只管分發和執行上層命令，相對就更輕量了。

5. Sealos 執行流程

  1. 通過 SFTP 或者 Wget 命令把離線安裝包拷貝到目標機器上，包括所有 Master 和 Node 節點。

  2. 在 Master 0 節點上執行 kubeadm init 命令。

  3. 在其它 Master 節點上執行 kubeadm join 命令並設置控制面。這個過程中多個 Master 節點上的 Etcd 會自動組成一個 Etcd 集群，並啟動相應控制組件。

  4. 所有 Node 節點都加入到集群中，這個過程中會在 Node 節點上進行 IPVS 轉發規則和 /etc/hosts 配置。

Node 節點對 ApiServer 的訪問均是通過功能變數名稱進行的。因為 Node 節點需要通過 虛擬 IP 連接到多個 Master 上，但是每個 Node 節點的 Kubelet 與 Kube-Proxy 訪問 ApiServer 的地址是不同的，所以這裡使用功能變數名稱來解析每個節點上 ApiServer 不同的 IP 地址。

使用 Sealos 部署高可用 Kubernetes 集群

1. 安裝相關環境依賴

通過 Sealos 進行 Kubernetes 集群部署，你需要先準備好以下環境。

  1. 在所有要部署的機器上，先完成 Docker 的安裝和啟動。

  2. 下載 Kubernetes 離線安裝包。

  3. 下載最新版本 Sealos。

  4. 對所有伺服器進行時間同步。

Sealos 項目地址：https://github.com/fanux/sealos/releases

Kubernetes 離線安裝包：https://github.com/sealstore/cloud-kernel/releases/

2. 通過 Sealos 部署高可用 Kubernetes 集群

目前 Sealos 已經支持最新版本 Kubernetes 1.16.0 的高可用集群安裝。

2.1 Sealos 常用參數說明

--master   Master 節點伺服器地址列表
--node     Node 節點伺服器地址列表
--user     伺服器 SSH 用戶名
--passwd   伺服器 SSH 用戶密碼
--pkg-url  離線包所在位置，可以是本地目錄，也可以是一個 HTTP 地址
--version  指定需要部署的 Kubernetes 版本
--pk       指定 SSH 私鑰所在位置，預設為 /root/.ssh/id_rsa

Other flags:

 --kubeadm-config string   kubeadm-config.yaml 用於指定自定義 kubeadm 配置文件
 --vip string              virtual ip (default "10.103.97.2") 本地負載時虛擬 IP ，不推薦修改，集群外不可訪問

2.2 部署一個單主節點的 Kubernetes 集群

通過 Sealos 部署 Kubernetes 集群是非常簡單的 ，通常只需以下兩條指令就可以完成安裝。

$ wget https://github.com/fanux/sealos/releases/download/v2.0.7/sealos && \
    chmod +x sealos && mv sealos /usr/bin 

$ sealos init --passwd YOUR_SERVER_PASSWD \
    --master 192.168.0.2  --master 192.168.0.3  --master 192.168.0.4  \
    --node 192.168.0.5 \
    --pkg-url https://sealyun.oss-cn-beijing.aliyuncs.com/cf6bece970f6dab3d8dc8bc5b588cc18-1.16.0/kube1.16.0.tar.gz \
    --version v1.16.0

如果你的伺服器已經配置了 SSH 免密登陸，你可以直接使用對應密鑰進行部署。

$ sealos init --master 192.168.0.2 \
    --node 192.168.0.3 \
    --pkg-url https://YOUR_HTTP_SERVER/kube1.15.0.tar.gz \
    --pk /root/kubernetes.pem \
    --version v1.16.0

如果你需要其它 Kubernetes 版本離線包，可到 Sealos 官網 http://store.lameleg.com/ 進行下載。

2.3 部署一個多主節點的高可用 Kubernetes 集群

$ sealos init --master 192.168.0.2 \
    --master 192.168.0.3 \
    --master 192.168.0.4 \
    --node 192.168.0.5 \
    --user root \
    --passwd your-server-password \
    --version v1.16.0 \
    --pkg-url /root/kube1.16.0.tar.gz

2.4 驗證部署是否成功

$ kubectl get node
NAME                      STATUS   ROLES    AGE     VERSION
izj6cdqfqw4o4o9tc0q44rz   Ready    master   2m25s   v1.16.0
izj6cdqfqw4o4o9tc0q44sz   Ready    master   119s    v1.16.0
izj6cdqfqw4o4o9tc0q44tz   Ready    master   63s     v1.16.0
izj6cdqfqw4o4o9tc0q44uz   Ready    <none>   38s     v1.16.0

$ kubectl get pod --all-namespaces
NAMESPACE     NAME                                              READY   STATUS    RESTARTS   AGE
kube-system   calico-kube-controllers-5cbcccc885-9n2p8          1/1     Running   0          3m1s
kube-system   calico-node-656zn                                 1/1     Running   0          93s
kube-system   calico-node-bv5hn                                 1/1     Running   0          2m54s
kube-system   calico-node-f2vmd                                 1/1     Running   0          3m1s
kube-system   calico-node-tbd5l                                 1/1     Running   0          118s
kube-system   coredns-fb8b8dccf-8bnkv                           1/1     Running   0          3m1s
kube-system   coredns-fb8b8dccf-spq7r                           1/1     Running   0          3m1s
kube-system   etcd-izj6cdqfqw4o4o9tc0q44rz                      1/1     Running   0          2m25s
kube-system   etcd-izj6cdqfqw4o4o9tc0q44sz                      1/1     Running   0          2m53s
kube-system   etcd-izj6cdqfqw4o4o9tc0q44tz                      1/1     Running   0          118s
kube-system   kube-apiserver-izj6cdqfqw4o4o9tc0q44rz            1/1     Running   0          2m15s
kube-system   kube-apiserver-izj6cdqfqw4o4o9tc0q44sz            1/1     Running   0          2m54s
kube-system   kube-apiserver-izj6cdqfqw4o4o9tc0q44tz            1/1     Running   1          47s
kube-system   kube-controller-manager-izj6cdqfqw4o4o9tc0q44rz   1/1     Running   1          2m43s
kube-system   kube-controller-manager-izj6cdqfqw4o4o9tc0q44sz   1/1     Running   0          2m54s
kube-system   kube-controller-manager-izj6cdqfqw4o4o9tc0q44tz   1/1     Running   0          63s
kube-system   kube-proxy-b9b9z                                  1/1     Running   0          2m54s
kube-system   kube-proxy-nf66n                                  1/1     Running   0          3m1s
kube-system   kube-proxy-q2bqp                                  1/1     Running   0          118s
kube-system   kube-proxy-s5g2k                                  1/1     Running   0          93s
kube-system   kube-scheduler-izj6cdqfqw4o4o9tc0q44rz            1/1     Running   1          2m43s
kube-system   kube-scheduler-izj6cdqfqw4o4o9tc0q44sz            1/1     Running   0          2m54s
kube-system   kube-scheduler-izj6cdqfqw4o4o9tc0q44tz            1/1     Running   0          61s
kube-system   kube-sealyun-lvscare-izj6cdqfqw4o4o9tc0q44uz      1/1     Running   0          86s

2.5 最簡單粗暴的視頻教程

如果你覺得上面的教程還是不夠直觀，現在就給你一個更簡單粗暴的學習方式。猛擊這裡的視頻，開始吧！

2.6 升級 Kubernetes 集群版本

Kubernetes 集群目前處於一個高速迭代期，每個新版本的發佈都提供了不少新的特性。升級 Kubernetes 集群版本也就成了家常便飯，Sealos 也為大家提供非常方便的功能來幫助大家快速完成 Kubernetes 集群升級。Kubernetes 集群升級大致需要以下幾個步驟：

  1. 升級所有節點的 Kubeadm 並導入新的鏡像。

  2. 升級 Master 節點上的 Kubelet。

  3. 升級其它 Master 節點。

  4. 升級 Node 節點。

  5. 驗證集群狀態。

2.6.1 升級 Kubeadm

這一步主要用於更新 Kubeadm、Kubectl、Kubelet 等二進位文件，並導入新版本的鏡像。升級方法很簡單，只需複製離線包到所有節點並執行以下命令。

$ cd kube/shell && sh init.sh

2.6.2 升級 Master 節點上的 Kubelet

升級 Kubelet 還是很簡單的，只需要把新版本的 Kubelet 複製到 /usr/bin 目錄下替換舊版本，然後重啟 Kubelet 服務即可。

$ kubeadm upgrade plan
$ kubeadm upgrade apply v1.16.0

# 重啟 Kubelet
$ systemctl restart kubelet

其中最重要的 kubeadm upgrade apply 命令主要完成以下一些操作。

  • 驗證集群是否可升級並執行版本升級策略。

  • 確認離線包中相關鏡像是否可用。

  • 對控制組件的容器進行升級，失敗就回滾。

  • 對 Kube-DNS 和 Kube-Proxy 進行升級。

  • 創建新的證書文件並備份舊的證書文件。

2.6.3 升級其它 Master 節點

$ kubeadm upgrade apply

2.6.4 升級 Node 節點

升級 Node 節點前，首先要驅逐節點。

$ kubectl drain $NODE --ignore-daemonsets

其次，是更新 Kubelet 的配置文件和升級 Node 節點的 Kubelet。

$ kubeadm upgrade node config --kubelet-version v1.16.0

# 同樣是替換二進位文件並重啟 Kubelet
$ systemctl restart kubelet

最後，恢復 Node 節點為可調度狀態。

$ kubectl uncordon $NODE

2.6.5 驗證集群是否升級成功

$ kubectl get nodes

如果輸出的節點的版本信息是和升級的版本一致的話，一切就搞定了！

3. 集群清理

如果你需要快速清理已部署的 Kubernetes 集群環境，你可以使用下麵的命令快速完成。

$ sealos clean \
    --master 192.168.0.2 \
    --master 192.168.0.3 \
    --master 192.168.0.4 \
    --node 192.168.0.5 \
    --user root \
    --passwd your-server-password

至此，使用 Sealos 快速部署一個生產級別的 Kubernetes 高可用集群的基本方法就介紹完了。如果你對 Sealos 非常的感興趣，你還可以去官網探索更多高級功能喲！

對於在生產環境中快速部署 Kubernetes 高可用集群，你還有哪些更好用高效的方法呢？歡迎大家在留言討論喲！




您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • ASP.NET Web API 2系列(三)：查看WebAPI介面的詳細說明及測試介面
    本篇博客主要解決在前後端分離項目中，後臺為前端人員提供詳細API介面說明的問題，該文主要通過在Web API項目中修改WebApi HelpPage相關代碼和添加WebApiTestClient組件實現WebAPI介面詳細說明以及介面測試。 ...
  • 兩數相加（C#數據結構和演算法練習）
    兩數相加 給出兩個 非空 的鏈表用來表示兩個非負的整數。其中，它們各自的位數是按照 逆序 的方式存儲的，並且它們的每個節點只能存儲 一位 數字。 如果，我們將這兩個數相加起來，則會返回一個新的鏈表來表示它們的和。 您可以假設除了數字 0 之外，這兩個數都不會以 0 開頭。 示例： 輸入：(2 -> ...
  • .net core 攔截器的使用
    .net core 攔截器的使用 實例代碼：https://gitee.com/D_C_L/InterceptorTest.git 攔截器主要是將程式中的一些可以獨立出去的模塊進行攔截，比如幕等性，和身份認證服務等等，你想獨立出去的東西，ActionFilterAttribute請求攔截器他裡面幾個 ...
  • ABP進階教程6 - 功能按鈕
    點這裡進入ABP進階教程目錄 下載插件 打開Datatables官網(https://datatables.net/download/) 勾選Extensions/Buttons，下載插件，複製到JD.CRS.Web.Mvc\wwwroot\lib\dataTables目錄． 引入插件 打開展示層( ...
  • C# yield關鍵字
    關於yield關鍵字，網上有很多文章介紹了，但是看了之後，雖然明白了"哦，原來是這麼回事"，但是在日常開發中並沒有真正的用起來，所以，寫此一篇，介紹一下在真正的項目中怎麼使用這個關鍵字。 開始我的正文介紹之前，可以先看一下微軟的官方文檔是怎麼介紹yield關鍵字的，傳送門：https://docs. ...
  • Nullable Reference Types 可空引用類型
    在寫C#代碼的時候，你可能經常會遇到這個錯誤： 在寫C#代碼的時候，你可能經常會遇到這個錯誤： 但如果想避免NullReferenceException的發生，確實需要做很多麻煩的工作。 但如果想避免NullReferenceException的發生，確實需要做很多麻煩的工作。 可空引用類型 Nul ...
  • .NET成人禮 | 還記得20年前一起拖過的控制項嗎？
    本文是MVP Ediwang寫的回憶一個80後的拖控制項的感悟，與君共勉：每一代人都有記憶里的味道。煤球爐、黑白電視機是屬於父母的記憶。而“拖控制項”式編程，啟蒙了無數像我這樣的80後（嗯，89也算80後）。 ...
  • Ubuntu16.04安裝Docker、nvidia-docker
    Ubuntu16.04安裝Docker、nvidia docker Docker安裝 1.更換國內軟體源，推薦中國科技大學的源，穩定速度快（可選） sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak sudo sed i 's/archiv ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類