本文轉自Rancher Labs 簡 介 本文將介紹在高可用K3s Kubernetes集群上安裝Rancher 2.4的過程並針對MySQL利用Microsoft Azure資料庫的優勢,該資料庫消除了對etcd的依賴,併為我們提供了Azure在這一服務中的所有其他功能。 在本文中,你將瞭解到只使 ...
本文轉自Rancher Labs
簡 介
本文將介紹在高可用K3s Kubernetes集群上安裝Rancher 2.4的過程並針對MySQL利用Microsoft Azure資料庫的優勢,該資料庫消除了對etcd的依賴,併為我們提供了Azure在這一服務中的所有其他功能。
在本文中,你將瞭解到只使用Azure Cloud Shell如何部署基礎架構以支持此方式。使用Cloud Shell的好處是零基礎架構即可上手——僅需訪問Azure門戶即可。並且許多所需的CLI功能已經預先安裝好,從而大大減少了完成安裝所需的工作量。
你部署完成基礎架構後,你將瞭解如何使用K3s在一個Kubernetes集群上部署Rancher 2.4。在Rancher 2.4中,我們已經添加了新的部署支持模式:在兩個節點上的Rancher 2.4運行帶有外部資料庫的K3s。使用這一模式的好處之一是我們可以將節點視為短暫的。由於K3s支持外部MySQL資料庫,因此我們可以做到這一點。
K3s是一個輕量的Kubernetes發行版,它比Rancher Kubernetes Engine(RKE)更先進,並且具有以下增強功能:
-
嵌入式SQLite資料庫替換了etcd,成為預設的數據存儲,它還支持外部數據存儲,例如PostgreSQL、MySQL和etcd。(本文中我們將使用MySQL)
-
我們添加了簡單但功能強大的“開箱即用”的功能,例如本地存儲程式、服務負載均衡器、Helm controller以及Traefik controller。
-
所有Kubernetes控制平面組件的操作都封裝在單個二進位文件和進程中。這使K3s可以自動化和管理複雜的集群操作,例如分發證書。
-
我們移除了in-tree雲提供程式和存儲插件
-
我們已將外部依賴性降到最低(僅需要現代內核和cgroup掛載)。K3s軟體包需要依賴項,包括:Containerd、Flannel、CoreDNS和主機實用程式(iptables、socat等)
如果你是第一次嘗試使用Rancher,可以考慮這種部署模式。這很有可能在之後成為部署Rancher的首選方法,提前瞭解總是好的——尤其是在Azure運行數據中心時。
前期準備
為了完成以下內容,你需要提前準備:
-
Microsoft賬號:Microsoft的登錄憑證。可以是你的Azure Active Directory憑據,也可以是普通的Outlook賬戶。
-
訪問一個Azure訂閱:可以是免費試用/隨用隨付/也可以是企業訂閱(https://azure.microsoft.com/en-us/free/ )
-
訪問Azure門戶(https://portal.azure.com/#home )
架 構
以下圖片展示了將要在Azure中創建的資源:
這兩個節點將放在單個子網(subnet)中的自己的vNet上。這些將在Azure負載平衡器的前面。MySQL資料庫將從外部的vNet提供,vNet由Microsoft托管。然後通過連接到子網的單個網路安全組(NSG)保護節點。
Azure Cloud Shell
我們將只使用Azure Cloud Shell來配置在Azure中的K3s上運行Rancher所需的所有元素。在門戶中,單擊右上角的“Azure Cloud Shell”按鈕。該圖標中有大於符號和下劃線。
Azure網路
資源組
在Azure中,所有資源需要歸屬於某個資源組,所以我們得先創建資源組。我們將設置預設區域和資源組,以確保我們所有的資源都會被創建到正確的位置。
請註意:我使用eastus2作為我的區域,但你可以根據自身需要進行更改。
az group create -l eastus2 -n RancherK3sResourceGroup
az configure --defaults location=eastus2 group=RancherK3sResourceGroup
Vnet、公共IP和網路安全組(NSG)
這些命令完成後,將在資源組內部創建網路組件。其中包括帶有預設子網的vNet,我們稍後將創建的兩個虛擬機(VM)的兩個公共IP,以及一個網路安全組(NSG)。
az network vnet create --resource-group RancherK3sResourceGroup --name RancherK3sVnet --subnet-name RancherK3sSubnet
az network public-ip create --resource-group RancherK3sResourceGroup --name RancherK3sPublicIP1 --sku standard
az network public-ip create --resource-group RancherK3sResourceGroup --name RancherK3sPublicIP2 --sku standard
az network nsg create --resource-group RancherK3sResourceGroup --name RancherK3sNSG1
az network nsg rule create -g RancherK3sResourceGroup --nsg-name RancherK3sNSG1 -n NsgRuleSSH --priority 100 \
--source-address-prefixes '*' --source-port-ranges '*' \
--destination-address-prefixes '*' --destination-port-ranges 22 --access Allow \
--protocol Tcp --description "Allow SSH Access to all VMS."
Azure負載均衡器
我們在兩個VM上安裝K3s之後,我們需要一個負載均衡器來提供彈性並防止VM故障。
首先,為負載均衡器創建一個公共IP
az network public-ip create --resource-group RancherK3sResourceGroup --name RancherLBPublicIP --sku standard
接下來,使用健康的探針(probe)創建負載均衡器
az network lb create \
--resource-group RancherK3sResourceGroup \
--name K3sLoadBalancer \
--sku standard \
--public-ip-address RancherLBPublicIP \
--frontend-ip-name myFrontEnd \
--backend-pool-name myBackEndPool
az network lb probe create \
--resource-group RancherK3sResourceGroup \
--lb-name K3sLoadBalancer \
--name myHealthProbe \
--protocol tcp \
--port 80
負載均衡器創建完成後,更新NSG。添加80和443埠,用於訪問Rancher Server,再添加一個6443埠,用於訪問K3s的Kubernetes API。
az network nsg rule create \
--resource-group RancherK3sResourceGroup \
--nsg-name RancherK3sNSG1 \
--name myNetworkSecurityGroupRuleHTTP \
--protocol tcp \
--direction inbound \
--source-address-prefix '*' \
--source-port-range '*' \
--destination-address-prefix '*' \
--destination-port-range 80 443 6443 \
--access allow \
--priority 200
現在以三個規則的形式添加負載均衡器配置。你需要一個用於埠80的規則和一個用於埠443的規則,以分散兩個VM上Rancher Server的負載。第三條規則用於埠6443,該埠可訪問在每個VM上運行的Kubernetes API。
az network lb rule create \
--resource-group RancherK3sResourceGroup \
--lb-name K3sLoadBalancer \
--name myHTTPRule \
--protocol tcp \
--frontend-port 80 \
--backend-port 80 \
--frontend-ip-name myFrontEnd \
--backend-pool-name myBackEndPool \
--probe-name myHealthProbe
az network lb rule create \
--resource-group RancherK3sResourceGroup \
--lb-name K3sLoadBalancer \
--name myHTTPSRule \
--protocol tcp \
--frontend-port 443 \
--backend-port 443 \
--frontend-ip-name myFrontEnd \
--backend-pool-name myBackEndPool \
--probe-name myHealthProbe
az network lb rule create \
--resource-group RancherK3sResourceGroup \
--lb-name K3sLoadBalancer \
--name myHTTPS6443Rule \
--protocol tcp \
--frontend-port 6443 \
--backend-port 6443 \
--frontend-ip-name myFrontEnd \
--backend-pool-name myBackEndPool \
--probe-name myHealthProbe
Azure資料庫即服務(DaaS)
使用K3s作為Kubernetes發行版的好處之一是它支持etcd的替代版本,在本例中,我們將使用Azure資料庫中的MySQL作為資料庫。
要創建MySQL資料庫,請運行以下CLI命令。
首先讓我們為資料庫伺服器的名稱創建一個變數,這樣可以讓運行後續命令更加容易。註意資料庫伺服器的名稱在整個Azure必須是唯一的,否則你將會在創建時出錯。
K3smysqlserver=<unique-myslq-server-name>
創建你的MySQL 伺服器。如果名稱不是唯一的,將顯示錯誤。如果是,那麼使用新名稱更新變數,然後再次運行此命令。
az mysql server create --resource-group RancherK3sResourceGroup --name $K3smysqlserver --admin-user myadmin --admin-password Password1 --sku-name GP_Gen5_2 --version 5.7
創建防火牆規則以允許所有的Azure IP可以訪問你的資料庫伺服器。
az mysql server firewall-rule create --resource-group RancherK3sResourceGroup --server $K3smysqlserver --name "AllowAllWindowsAzureIps" --start-ip-address 0.0.0.0 --end-ip-address 0.0.0.0
為現有的子網添加service endpoint。
az network vnet subnet update --vnet-name RancherK3sVnet --name RancherK3sSubnet --service-endpoints "Microsoft.Sql"
將vnet規則添加到資料庫訪問。
az mysql server vnet-rule create --server $K3smysqlserver --name MyK3sVNetRule \
-g RancherK3sResourceGroup --subnet RancherK3sSubnet --vnet-name RancherK3sVnet
為資料庫通信禁用TLS
az mysql server update --resource-group RancherK3sResourceGroup --name $K3smysqlserver --ssl-enforcement Disabled
在Azure Cloud Shell中已經安裝好MySQL CLI工具了。下一步是連接到MySQL伺服器並創建一個資料庫。
連接到新的MySQL伺服器。
mysql --host $K3smysqlserver.mysql.database.azure.com --user myadmin@$K3smysqlserver -p
檢查狀態,確保MySQL正在運行。
status
創建一個空的資料庫。
CREATE DATABASE kubernetes;
SHOW DATABASES;
exit
Azure虛擬機
接下來,我們將創建2個虛擬機併在它們上面安裝K3s。
網路介面
創建所有網路元素後,我們可以為VM創建網路介面卡(NIC)。
az network nic create --resource-group RancherK3sResourceGroup --name nic1 --vnet-name RancherK3sVnet --subnet RancherK3sSubnet --network-security-group RancherK3sNSG1 --public-ip-address RancherK3sPublicIP1 --lb-name K3sLoadBalancer --lb-address-pools myBackEndPool
az network nic create --resource-group RancherK3sResourceGroup --name nic2 --vnet-name RancherK3sVnet --subnet RancherK3sSubnet --network-security-group RancherK3sNSG1 --public-ip-address RancherK3sPublicIP2 --lb-name K3sLoadBalancer --lb-address-pools myBackEndPool
創建虛擬機
要創建2個虛擬機,首先需要使用我們的cloud-init配置創建一個文本文件。這將部署Docker、添加ubuntu用戶到docker組並安裝K3s。
cat << EOF > cloud-init.txt
#cloud-config
package_upgrade: true
packages:
- curl
output: {all: '| tee -a /var/log/cloud-init-output.log'}
runcmd:
- curl https://releases.rancher.com/install-docker/18.09.sh | sh
- sudo usermod -aG docker ubuntu
- curl -sfL https://get.k3s.io | sh -s - server --datastore-endpoint="mysql://myadmin@$K3smysqlserver:Password1@tcp($K3smysqlserver.mysql.database.azure.com:3306)/kubernetes"
EOF
部署虛擬機。
az vm create \
--resource-group RancherK3sResourceGroup \
--name K3sNode1 \
--image UbuntuLTS \
--nics nic1 \
--admin-username ubuntu \
--generate-ssh-keys \
--custom-data cloud-init.txt
az vm create \
--resource-group RancherK3sResourceGroup \
--name K3sNode2 \
--image UbuntuLTS \
--nics nic2 \
--admin-username ubuntu \
--generate-ssh-keys \
--custom-data cloud-init.txt
檢查Kubernetes是否正在運行
作為VM配置的一部分,K3s應該已經安裝完畢。讓我們連接到第一個VM並確認K3s是否正在運行。
ssh ubuntu@<publicIPofNode1>
兩個VM應該都在節點列表上。如果第一次沒有成功,那麼需要給它幾分鐘的時間來運行cloud-init腳本。它可能需要花費一些時間來部署Docker和K3s。
sudo k3s kubectl get nodes
輸出為:
ubuntu@ip-172-31-60-194:~$ sudo k3s kubectl get nodes
NAME STATUS ROLES AGE VERSION
ip-172-31-60-194 Ready master 44m v1.17.2+k3s1
ip-172-31-63-88 Ready master 6m8s v1.17.2+k3s1
測試集群Pod的健康狀態:
sudo k3s kubectl get pods --all-namespaces
保存並開始使用kubeconfig文件
在連接到我們其中之一的節點的同時,我們需要獲取集群的kubeconfig內容。使用以下命令將內容輸出到屏幕,然後將其複製到剪貼板。
sudo cat /etc/rancher/k3s/k3s.yaml
將其粘貼到文本編輯器中,以便我們可以進行更改,然後再將其添加到我們正在處理的Azure Cloud Shell會話中。
更新server
:使用負載均衡器的外部URL。你可以使用xip.io服務為你提供可解析的完全限定功能變數名稱。請參見下麵的屏幕截圖。
例如:
https://rancher.
註意:需要將截屏中的示例替換為你的負載均衡器的公共IP。
現在,在/.kube
文件夾中創建一個名為config
的文件,並將更新的內容粘貼到該文件中。
首先,從node1開始解除連接。
exit
現在創建新的目錄並編輯文件,粘貼到已經更新的內容中。
mkdir ~/.kube
vi ~/.kube/config
檢查kubectl是否正在工作並能否與集群交互。現在Kubectl和Helm已經在Azure Cloud Shell中安裝完畢。
kubectl get pods --all-namespaces
安裝Rancher
添加Rancher Helm Repo
helm repo add rancher-latest https://releases.rancher.com/server-charts/latest
創建cattle-system
命名空間
kubectl create namespace cattle-system
分別安裝CustomResourceDefinition資源
kubectl apply -f https://raw.githubusercontent.com/jetstack/cert-manager/release-0.12/deploy/manifests/00-crds.yaml
為cert-manager
創建命名空間
kubectl create namespace cert-manager
添加Jetstack Helm代碼庫
helm repo add jetstack https://charts.jetstack.io
更新你的本地Helm chart代碼庫緩存
helm repo update
安裝cert-manager Helm chart
helm install \
cert-manager jetstack/cert-manager \
--namespace cert-manager \
--version v0.12.0
檢查Cert-Manager是否正在運行,確保所有的pod都正在運行。
kubectl get pods --namespace cert-manager
使用自簽名證書安裝Rancher。確保你使用Rancher Server的URL設置了主機名。在本文中,我們利用xip.io服務。在Rancher URL中使用Azure 負載均衡器的公共IP地址。
helm install rancher rancher-latest/rancher \
--namespace cattle-system \
--set hostname=rancher.<LoadBalancerPublicIP>.xip.io
等待Rancher部署……
kubectl -n cattle-system rollout status deploy/rancher
三個副本全部roll out之後,請點擊Rancher server deployment的URL,如下所示:
清 理
在Azure中創建資源會產生費用,因此請確保在完成操作後刪除資源組。
az group delete --name RancherK3sResourceGroup
結 論
在本文中,我們提供了一種快速簡便的方法使用Rancher對Azure中的容器化工作負載進行多集群管理。通過使用K3s,我們不僅能夠非常快速地啟動並運行,而且移除了etcd同時避免了在生產環境中運行它會產生的一些麻煩。通過使用Azure Cloud Shell,身份驗證變得十分容易,並且可以“開箱即用”地使用我們所需的所有工具。