快速搭建雲原生開發環境（k8s+pv+prometheus+grafana）

来源:https://www.cnblogs.com/bolingcavalry/archive/2023/09/23/17724658.html
-Advertisement-
Play Games

歡迎訪問我的GitHub 這裡分類和彙總了欣宸的全部原創(含配套源碼)：https://github.com/zq2599/blog_demos 本篇概覽 欣宸正在為接下新的Java雲原生實戰系列原創做準備，既然是實戰，少不了一套雲原生環境，以下內容是必不可少的： linux操作系統 kuberne ...


歡迎訪問我的GitHub

這裡分類和彙總了欣宸的全部原創(含配套源碼)：https://github.com/zq2599/blog_demos

本篇概覽

  • 欣宸正在為接下新的Java雲原生實戰系列原創做準備，既然是實戰，少不了一套雲原生環境，以下內容是必不可少的：
  1. linux操作系統
  2. kubernetes
  3. kubernetes的外部存儲，平時資料庫、監控、消息這些中間件的數據不可能放在容器內，需要有個可靠的地方存起來不丟失
  4. 監控
  • 一番操作下來，輕鬆完成了上述工作，這裡將整個過程記錄定下來，這樣可以保證每次重裝都能輕鬆愉快的完成，省下的時間用來寫更多的技術原創

版本信息

  • 本次安裝的版本信息如下，供您參考
  1. 操作系統：CentOS 7.6 （騰訊雲輕應用伺服器）
  2. kubernetes：1.22 （底層容器服務是docker）
  3. prometheus：2.32.1
  4. grafana：8.3.3

初始化

  • CentOS操作系統的安裝就不在這裡講了，接下來的操作假設您已裝好純凈的CentOS系統
  • 本文中的操作都是用root賬號執行的
  • 安裝ssh服務
sudo yum install openssh-server -y
  • 修改root密碼
sudo passwd root
  • 修改ssh配置，允許root遠程登錄，文件是/etc/ssh/sshd_config，註意下圖兩個箭頭指向的配置，確保您的值與之一致
    在這裡插入圖片描述
  • 安裝常用軟體：
yum install redhat-lsb lrzsz wget -y
  • 關閉防火牆
systemctl stop firewalld && \
systemctl disable firewalld && \
setenforce 0
  • 接下來可以安裝k8s了，如果網速正常，可以採用k8s安裝（線上下載鏡像和文件）章節的方法，如果網路太慢，或者像我這樣使用騰訊雲伺服器時發現下載文件太慢，可以採用k8s安裝（使用離線的鏡像和文件）章節的方法

k8s安裝（線上下載鏡像和文件）

tar -zxvf sealos_4.1.3_linux_amd64.tar.gz sealos &&  chmod +x sealos && mv sealos /usr/bin
  • 然後一行命令安裝k8s
sealos run labring/kubernetes-docker:v1.22.8-4.1.3 labring/helm:v3.8.2 labring/calico:v3.24.1 --single
  • 等待三分鐘左右，K8S單機版安裝完成，控制台輸出如下
    在這裡插入圖片描述
  • 查看系統pod，一切正常
[root@VM-12-12-centos k8s]# kubectl get pods -A
NAMESPACE          NAME                                       READY   STATUS    RESTARTS   AGE
calico-apiserver   calico-apiserver-67b7856948-bg2wh          1/1     Running   0          12s
calico-apiserver   calico-apiserver-67b7856948-fz64n          1/1     Running   0          12s
calico-system      calico-kube-controllers-78687bb75f-z2r7m   1/1     Running   0          41s
calico-system      calico-node-l6nmw                          1/1     Running   0          41s
calico-system      calico-typha-b46ff96f6-qqzxb               1/1     Running   0          41s
calico-system      csi-node-driver-lv2g2                      2/2     Running   0          21s
kube-system        coredns-78fcd69978-57r7x                   1/1     Running   0          47s
kube-system        coredns-78fcd69978-psjcs                   1/1     Running   0          46s
kube-system        etcd-vm-12-12-centos                       1/1     Running   0          60s
kube-system        kube-apiserver-vm-12-12-centos             1/1     Running   0          61s
kube-system        kube-controller-manager-vm-12-12-centos    1/1     Running   0          62s
kube-system        kube-proxy-x8nhg                           1/1     Running   0          47s
kube-system        kube-scheduler-vm-12-12-centos             1/1     Running   0          60s
tigera-operator    tigera-operator-6f669b6c4f-t8t9h           1/1     Running   0          46s
  • 由於是單機版，需要去除污點才能使用，執行以下命令
kubectl taint nodes --all node-role.kubernetes.io/master-

k8s安裝（使用離線的鏡像和文件）

  • 如果您通過上面一段的操作順利裝好k8s，那麼這一段內容可以直接跳過
  • 我用的是騰訊雲輕應用伺服器，在安裝過程中發現下載sealos的文件非常慢，於是使用了以下方法來提升安裝速度，如果您遇到了同樣問題也可以參考這種方法
  • 為了簡單省事兒，本次打算使用sealos安裝K8S單機版，底層容器是docker
  • 在CSDN下載四個文件，它們的下載地址如下，下載後存放在CentOS伺服器上的同一個目錄下（不要積分，免費下載）：
  1. https://download.csdn.net/download/boling_cavalry/86908222
  2. https://download.csdn.net/download/boling_cavalry/86908229
  3. https://download.csdn.net/download/boling_cavalry/86908433
  4. https://download.csdn.net/download/boling_cavalry/86908647
  • 確認一下，四個文件名依次是：sealos_4.1.3_linux_amd64.tar.gz、helm.tar、calico.tar、kubernetes.tar
  • ssh進入上述四個文件的存放目錄
  • 首先是操作sealos_4.1.3_linux_amd64.tar.gz文件
tar zxvf sealos_4.1.3_linux_amd64.tar.gz sealos && chmod +x sealos && mv sealos /usr/bin
  • 再用sealos工具載入其他三個文件
sealos load -i kubernetes.tar
sealos load -i helm.tar
sealos load -i calico.tar
  • 此時，再執行以下命令安裝k8s
sealos run labring/kubernetes-docker:v1.22.8-4.1.3 labring/helm:v3.8.2 labring/calico:v3.24.1 --single
  • 等待三分鐘左右，K8S單機版安裝完成，控制台輸出如下
    在這裡插入圖片描述
  • 查看系統pod，一切正常
[root@VM-12-12-centos k8s]# kubectl get pods -A
NAMESPACE          NAME                                       READY   STATUS    RESTARTS   AGE
calico-apiserver   calico-apiserver-67b7856948-bg2wh          1/1     Running   0          12s
calico-apiserver   calico-apiserver-67b7856948-fz64n          1/1     Running   0          12s
calico-system      calico-kube-controllers-78687bb75f-z2r7m   1/1     Running   0          41s
calico-system      calico-node-l6nmw                          1/1     Running   0          41s
calico-system      calico-typha-b46ff96f6-qqzxb               1/1     Running   0          41s
calico-system      csi-node-driver-lv2g2                      2/2     Running   0          21s
kube-system        coredns-78fcd69978-57r7x                   1/1     Running   0          47s
kube-system        coredns-78fcd69978-psjcs                   1/1     Running   0          46s
kube-system        etcd-vm-12-12-centos                       1/1     Running   0          60s
kube-system        kube-apiserver-vm-12-12-centos             1/1     Running   0          61s
kube-system        kube-controller-manager-vm-12-12-centos    1/1     Running   0          62s
kube-system        kube-proxy-x8nhg                           1/1     Running   0          47s
kube-system        kube-scheduler-vm-12-12-centos             1/1     Running   0          60s
tigera-operator    tigera-operator-6f669b6c4f-t8t9h           1/1     Running   0          46s
  • 由於是單機版，需要去除污點才能使用，執行以下命令
kubectl taint nodes --all node-role.kubernetes.io/master-

安裝本地pv

  • 本地pv的作用是給所有pvc提供存儲空間
  • 實測發現，安裝本地pv的過程中，有兩個鏡像經常會拉取失敗，建議您先下載tar到伺服器，在伺服器上通過docker load命令載入後再部署本地pv
  • 請在CSDN下載兩個鏡像的tar文件，地址如下（不要積分，免費下載）
  1. https://download.csdn.net/download/boling_cavalry/86908763 （下載後是個zip，解壓後，文件夾裡面才是真正的tar）
  2. https://download.csdn.net/download/boling_cavalry/86908874 （下載後是個zip，解壓後，文件夾裡面才是真正的tar）
  • 上述文件上傳到CentOS，執行以下命令載入兩個鏡像
docker load < busybox.tar
docker load < local-pv.tar
  • 下載本地pv的配置文件，地址是：https://raw.githubusercontent.com/rancher/local-path-provisioner/v0.0.22/deploy/local-path-storage.yaml
  • 然後打開此文件，做以下四步操作
  • 第一，如下圖，刪除debug哪一行
    在這裡插入圖片描述
  • 第二，找到reclaimPolicy，將其值從Delete改為Retain
    在這裡插入圖片描述
  • 第三，增加下麵這句，使當前storageclass成為預設的storageclass
    在這裡插入圖片描述
  • 第四，修改下圖紅色箭頭位置，指向您自己電腦為pv準備的位置
    在這裡插入圖片描述
  • 設置完畢後，執行命令kubectl apply -f local-path-storage.yaml即可完成本地pv的創建
  • 如下圖紅色箭頭，新增的pv的pod
    在這裡插入圖片描述
  • 此時，k8s環境中的pvc，都可以使用storageClass=local-path來使用本地磁碟了

安裝Prometheus+Grafana（下載配置文件）

  • 接下來會用operator的方式部署Prometheus+Grafana，這是一種非常簡單使用的方法
  • 有幾個鏡像下載會超時，因此改為下載國內鏡像，然後用tag命令改為同名鏡像即可，命令如下：
docker pull docker.io/willdockerhub/prometheus-adapter:v0.9.1

docker tag docker.io/willdockerhub/prometheus-adapter:v0.9.1 k8s.gcr.io/prometheus-adapter/prometheus-adapter:v0.9.1

docker pull bolingcavalry/kube-state-metrics:v2.3.0

docker tag bolingcavalry/kube-state-metrics:v2.3.0 k8s.gcr.io/kube-state-metrics/kube-state-metrics:v2.3.0
  • 現在要下載operator的配置文件了， 打開Prometheus operator的GitHub主頁，首先確認自己的kubernetes版本應該使用哪個版本的Prometheus operator，如下圖，我這裡的kubernetes是1.22版本，因此使用的operator應該是release-0.9或者release-0.10
    在這裡插入圖片描述
  • 在operator的release頁面，找到release-0.10版本點擊下載
    在這裡插入圖片描述

安裝Prometheus+Grafana（修改配置文件：對外暴露服務）

  • 接下來對下載的配置文件做些修改

  • 首先是修改Grafana的service文件，因為預設的service是ClusterIP類型，無法從kubernetes外部訪問的，這裡改成集群外也可以訪問service，打開文件kube-prometheus-0.10.0/manifests/grafana-service.yaml，新增箭頭所指的兩行，註意31330埠是我隨便找的一個可用埠，您也可以隨意，在30000-32767之間即可
    在這裡插入圖片描述

  • 如果想通過外部訪問prometheus，可以用上述同樣的方法修改prometheus-service.yaml文件

  • 另外，如果您像我一樣是將服務部署在雲上（我這裡是騰訊雲），就涉及到公網IP的使用，請查找文件grafana-networkPolicy.yaml，如果有就刪除（0.10.0-release版本沒有這個文件），如果不刪除，就無發通過公網IP訪問grafana

  • 對於prometheus也是一樣，如果想從公網IP訪問prometheus，需要刪除文件prometheus-networkPolicy.yaml

安裝Prometheus+Grafana（配置外部存儲）

  • 解決了外部訪問的問題，接下來是存儲問題了，如果不將Prometheus和grafana的數據保存在容器外部的話，只要pod被刪，數據就丟失了，這在很多場景下是不可接受的
  • 既然前面咱們已經準備好了pv，那麼這裡就可以把prometheus和grafana的存儲改為pvc，讓它們的數據保存在pv上
  • 首先修改prometheus的存儲配置，打開文件prometheus-prometheus.yaml，如下圖，紅框內是新增內容（稍後我會把文字貼出來便於複製）
    在這裡插入圖片描述
  • 上圖紅框中的內容如下
  storage:
    volumeClaimTemplate:
      spec:
        storageClassName: local-path
        resources:
          requests:
            storage: 10Gi
  • 接著是grafana的存儲，進入目錄kube-prometheus-0.10.0/manifests/setup，新增名為grafana-pvc.yaml的文件，內容如下：
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: grafana
  namespace: monitoring
spec:
  storageClassName: local-path
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 10Gi
  • 然後還要修改deployment配置，打開文件grafana-deployment.yaml，找到下圖紅色箭頭所指內容
    在這裡插入圖片描述
  • 替換成下圖紅框中的內容
    在這裡插入圖片描述

安裝Prometheus+Grafana（數據採集許可權）

  • 需要給足prometheus許可權，這樣它才能採集到用於展示的數據，打開文件prometheus-clusterRole.yaml，新增一些許可權配置，修改完畢後的完整內容如下所示，新增的位置主要在resources和varbs兩處
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  labels:
    app.kubernetes.io/component: prometheus
    app.kubernetes.io/instance: k8s
    app.kubernetes.io/name: prometheus
    app.kubernetes.io/part-of: kube-prometheus
    app.kubernetes.io/version: 2.32.1
  name: prometheus-k8s
  namespace: monitoring
rules:
- apiGroups:
  - ""
  resources:
  - nodes/metrics
  - services
  - endpoints
  - pods
  verbs:
  - get
  - list
  - watch
- nonResourceURLs:
  - /metrics
  verbs:
  - get
  • 再執行以下操作，給prometheus增加管理員身份（可酌情選擇）
kubectl create clusterrolebinding kube-state-metrics-admin-binding \
--clusterrole=cluster-admin  \
--user=system:serviceaccount:monitoring:kube-state-metrics
  • 至此，配置已經修改完成，可以啟動了

安裝Prometheus+Grafana（安裝和啟動）

  • 啟動過程分為兩步：先安裝再啟動
  • 首先，回到prometheus/kube-prometheus-0.10.0目錄，執行以下命令開始安裝
kubectl apply --server-side -f manifests/setup
  • 可能會遇到以下提示，我這邊放心起見重覆執行了一次安裝命令，就沒有此錯誤了
Error from server (NotFound): namespaces "monitoring" not found
  • 接下來可以啟動了，執行以下命令
kubectl apply -f manifests/
  • 查看pod情況，如下圖，大部分pod創建得很快，也有一兩個稍微慢一點的，實測兩三分鐘可以全部ready
    在這裡插入圖片描述
  • 再去看看數據捲使用情況，如下圖，已經分配好三個了
    在這裡插入圖片描述
  • 最後，如果您用的是雲伺服器，記得在公網放開埠，我這邊是騰訊雲伺服器，放開方式如下圖
    在這裡插入圖片描述

訪問grafana

  • 現在可以訪問grafana了，輸入IP:埠，會提示輸入賬號密碼，預設的賬號密碼都是admin
    在這裡插入圖片描述
  • 登錄成功後會提示修改初始密碼，按照提示操作即可
  • 然後就進入grafana頁面了，裡面已經內置了很多監控數據，這裡挑一個物理伺服器信息的監控數據看看，如下圖
    在這裡插入圖片描述
  • 再去看看給pv使用的伺服器磁碟，如下所示，已經創建了三個文件夾，都是容器在用的
[root@VM-12-12-centos local-path-provisioner]# pwd
/opt/local-path-provisioner
[root@VM-12-12-centos local-path-provisioner]# ls -al
total 20
drwxr-xr-x  5 root root 4096 Nov  5 10:02 .
drwxr-xr-x. 7 root root 4096 Oct 31 08:29 ..
drwxrwxrwx  3 root root 4096 Nov  5 10:06 pvc-0b8b93ae-944c-4433-a904-71c00d65c8ad_monitoring_prometheus-k8s-db-prometheus-k8s-0
drwxrwxrwx  6 root root 4096 Nov  5 10:53 pvc-9a5dccda-673f-4db8-a64e-baf4df5006cf_monitoring_grafana
drwxrwxrwx  3 root root 4096 Nov  5 10:06 pvc-bccf40a7-59a5-4472-a6a3-65f4898255d6_monitoring_prometheus-k8s-db-prometheus-k8s-1

  • 至此，k8s+pv+prometheus+grafana環境已經搭建完成，這樣的環境離生產環境還差得遠，但是作為日常開發和測試已經基本合格，如果您對雲原生感興趣，想要簡單快速的從零開始搭建一套環境用於學習和研發，希望本文能給您提供一些參考

  • 編寫本文時，有些操作步驟參考了這位大佬的，在此表示感謝：http://www.javajun.net/posts/5019/index.html

歡迎關註博客園：程式員欣宸

學習路上，你不孤單，欣宸原創一路相伴...


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • JS深入學習筆記 - 第三章.變數作用域與記憶體
    1.原始值和引用值 ECMScript變數包含兩種不同類型是數據：原始值和引用值。 原始值：最簡單的數據。有6中原始值：Undefined、Null、Boolean、Number、String和Symbol。原始值是按值訪問。 引用值：由多個值構成的對象。三大引用類型：1.object 2.Arra ...
  • 11-JavaScript 邏輯條件 ，if判斷 ，while迴圈，算數運算相關的案例演示
    1、案例：猜數字 設置一個1-10之間的隨機數，然後輸入進行猜數字，猜的大了怎麼樣、猜的小了怎麼樣、猜對了怎麼樣 知識點：設置隨機數 、if判斷 、while迴圈 寫題思路： 1.設置彈框提出問題 2.定義一個隨機數0-10的數組 3.if 判斷 取值的範圍，在其範圍內反饋的結果 4.while迴圈 ...
  • Node練習 | fs module 使用
    搭建後臺管理系統模板 2.1項目初始化 今天來帶大家從0開始搭建一個vue3版本的後臺管理系統。一個項目要有統一的規範，需要使用eslint+stylelint+prettier來對我們的代碼質量做檢測和修複，需要使用husky來做commit攔截，需要使用commitlint來統一提交規範，需要使 ...
  • 軟體設計模式系列之十三——享元模式
    Uber公司技術棧介紹 Uber（Uber Technologies,Inc.）中文譯作“優步”，是一家美國矽谷的科技公司。Uber在2009年，由加利福尼亞大學洛杉磯分校輟學生特拉維斯·卡蘭尼克和好友加勒特·坎普（Garrett Camp）創立。因旗下同名打車APP而名聲大噪。Uber已經進入中國 ...
  • 最全的李慧芹APUE-文件IO筆記
    1. 定義通用返回結果類 ​ 定義ResultVO類，作返回給前端的對象結構，主要有4個欄位 code : 錯誤碼 data : 內容 message : 消息 description : 具體描述 import lombok.Data; import java.io.Serializable; / ...
  • python入門基礎(15)--模塊和python中數學、日期、時間類模塊。
    接上篇，當我們創建了很多類，比如 圖書館里的藏書，分社會科學類，藝術類、生活類、農業類、工業類等，而工業類又分為輕工業、重工業、信息工業，然後再細分。當分的越來越細時，程式就會越來越大。如何管理，便成了程式開發過程中一個重要的環節。於是可以按照圖書館分類管理的思想，對程式代碼進行管理。 將一個應用程 ...
  • 負載均衡 —— SpringCloud Netflix Ribbon
    Ribbon 簡介 Ribbon 是 Netfix 客戶端的負載均衡器，可對 HTTP 和 TCP 客戶端的行為進行控制。為 Ribbon 配置服務提供者地址後，Ribbon 就可以基於某種負載均衡演算法自動幫助服務消費者去請求。Ribbon 預設提供了很多負載均衡演算法，例如輪詢、隨機等，也可以為 R ...
  • 編譯nw-node版本的插件
    編譯nw-node版本的插件 下載nwjs對應版本的nodejs 原始源碼目錄 yh@yh:~/addon$ tree . ├── addon.cc ├── binding.gyp ├── CppLib │ ├── mynumber.cpp │ └── mynumber.h ├── myobject ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類