KubeSphere CI/CD+GitLab+Harbor將Spring Boot項目部署至Kubernetes

来源:https://www.cnblogs.com/kubesphere/archive/2019/09/08/11487121.html
-Advertisement-
Play Games

上一篇文章分享瞭如何在 KubeSphere 對公共的代碼倉庫 GitHub 和鏡像倉庫 DockerHub 創建流水線，本文將繼續使用 KubeSphere，基於 Harbor 和 GitLab 創建流水線，將 Spring Boot 項目發佈至 Kubernetes。 KubeSphere 集成 ...


上一篇文章分享瞭如何在 KubeSphere 對公共的代碼倉庫 GitHub 和鏡像倉庫 DockerHub 創建流水線，本文將繼續使用 KubeSphere，基於 Harbor 和 GitLab 創建流水線，將 Spring Boot 項目發佈至 Kubernetes。

KubeSphere 集成了 Harbor 和 GitLab，內置的 Harbor 和 GitLab 作為可選安裝項，需在安裝前進行配置開啟安裝。用戶可以根據團隊項目的需求來安裝，方便對項目的鏡像和代碼進行管理，非常適合內網環境下的 CI/CD 流水線構建。

目的

本示例演示通過內置 GitLab 倉庫中 Spring Boot 項目的 Jenkinsfile 來創建流水線，流水線共包含 7 個階段，首先會將 GitLab 中的源碼構建成鏡像，然後推送到 Harbor 私有倉庫，最終將一個輸出 “Hello,World!” 的Web示例部署到 KubeSphere 集群中的開發環境 (Dev) 和生產環境 (Production) ，這兩個環境在底層的 Kubernetes 是以項目 (Namespace) 為單位進行資源隔離的。

操作示例

流水線概覽

下麵的流程圖簡單說明瞭流水線完整的工作過程：

流程說明：

  • 階段一. Checkout SCM: 拉取 GitLab 倉庫代碼
  • 階段二. Unit test: 單元測試，如果測試通過了才繼續下麵的任務
  • 階段三. sonarQube analysis：sonarQube 代碼質量檢測
  • 階段四. Build & push snapshot image: 根據行為策略中所選擇分支來構建鏡像，並將 tag 為 SNAPSHOT-$BRANCH_NAME-$BUILD_NUMBER 推送至 Harbor (其中 $BUILD_NUMBER 為 pipeline 活動列表的運行序號)。
  • 階段五. Push latest image: 將 master 分支打上 tag 為 latest，並推送至 Harbor。
  • 階段六. Deploy to dev: 將 master 分支部署到 Dev 環境，此階段需要審核。
  • 階段七. Push with tag: 生成 tag 並 release 到 GitLab，並推送到 Harbor。
  • 階段八. Deploy to production: 將發佈的 tag 部署到 Production 環境。

基礎設置

第一步：修改 CoreDNS 配置

通過 CoreDNS 的 hosts 插件配置 KubeSphere 集群的 DNS 服務，使集群內部可通過 hostname 功能變數名稱訪問外部服務，參考 修改系統配置 - 如何修改 CoreDNS 配置。

第二步：上傳基礎鏡像到 Harbor

參考 如何上傳基礎鏡像到 Harbor 導入預先準備好的基礎鏡像 java:openjdk-8-jre-alpine。

創建憑證

使用項目普通用戶 project-regular 登錄 KubeSphere，進入已創建的 DevOps 工程，開始創建憑證。

1、本示例代碼倉庫中的 Jenkinsfile 需要用到 Harbor、GitLab 和 Kubernetes (kubeconfig 用於訪問接入正在運行的 Kubernetes 集群) 等一共 3 個憑證 (credentials) ，參考 創建憑證 依次創建這三個憑證。

2、然後參考 訪問 SonarQube 並創建 Token，創建一個 Java 的 Token 並複製。

3、最後在 KubeSphere 中進入 devops-demo 的 DevOps 工程中，與上面步驟類似，在 憑證 下點擊 創建，創建一個類型為 秘密文本 的憑證，憑證 ID 命名為 sonar-token，密鑰為上一步複製的 token 信息，完成後點擊 確定。

至此，4 個憑證已經創建完成，下一步需要在示例倉庫中的 jenkinsfile 修改對應的四個憑證 ID 為用戶自己創建的憑證 ID。

ce

修改 Jenkinsfile

第一步：進入項目

  1. 根據前提條件中的要求，現應已按照 安裝 GitLab 要求正確將 GitHub 中的 devops-java-sample 導入到GitLab中。

註：若因網路限制，無法從 GitHub 導入，請自行 clone 至其他伺服器，然後上傳至 GitLab 倉庫，倉庫名稱請保持一致。

gitlab

  1. 點擊項目進入。

第二步：修改 Jenkinsfile

​ 1、在 根目錄 進入 Jenkinsfile-on-prem。

jenkins

​ 2、在 GitLab UI 點擊編輯 Edit，需要修改如下環境變數 (environment) 的值。

edit

修改項 值 含義
HARBOR_CREDENTIAL_ID harbor-id 填寫創建憑證步驟中的 Harbor 憑證 ID，用於登錄您的 Harbor 倉庫
GITLAB_CREDENTIAL_ID gitlab-id 填寫創建憑證步驟中的 GitLab 憑證 ID，用於推送 tag 到 GitLab 倉庫
KUBECONFIG_CREDENTIAL_ID demo-kubeconfig kubeconfig 憑證 ID，用於訪問接入正在運行的 Kubernetes 集群
REGISTRY harbor.devops.kubesphere.local:30280 預設為 Harbor 功能變數名稱，用於鏡像的推送
HARBOR_NAMESPACE library 預設為 Harbor 下的 library 項目，可根據實際情況更改項目名稱
GITLAB_ACCOUNT admin1 GitLab用戶，預設為admin1
APP_NAME devops-docs-sample 應用名稱
SONAR_CREDENTIAL_ID sonar-token 填寫創建憑證步驟中的 sonarQube token憑證 ID，用於代碼質量檢測

創建兩個項目

CI/CD 流水線會根據示例項目的 yaml 模板文件，最終將示例分別部署到 Dev 和 Production 這兩個項目 (Namespace) 環境中，項目名為 kubesphere-sample-dev 和 kubesphere-sample-prod，這兩個項目需要預先在控制台依次創建。

project

創建流水線

第一步：填寫基本信息

1、進入已創建的 DevOps 工程，選擇左側菜單欄的 流水線，然後點擊 創建。

create-pipeline

2、在彈出的視窗中，輸入流水線的基本信息。

  • 名稱：為創建的流水線起一個簡潔明瞭的名稱，便於理解和搜索
  • 描述信息：簡單介紹流水線的主要特性，幫助進一步瞭解流水線的作用
  • 代碼倉庫：點擊選擇代碼倉庫，代碼倉庫需已存在 Jenkinsfile

basic_info

第二步：添加 Git 倉庫

1、點擊代碼倉庫，以添加 GitLab 倉庫為例。

addrepo

2、輸入倉庫URl，預設為http://gitlab.devops.kubesphere.local:30080/admin1/devops-java-sample.git，

註意：GitLab 中提供的 HTTP 和 SSH URI 有誤。HTTP URI 需要手動加上埠號30080，SSH URI 需要手動加上協議 ssh:// 和埠號：30090。

證書選擇之前創建的 gitlab-id。

點擊 「保存」 後進行下一步。

第三步：高級設置

完成代碼倉庫相關設置後，進入高級設置頁面，高級設置支持對流水線的構建記錄、行為策略、定期掃描等設置的定製化，以下對用到的相關配置作簡單釋義。

1、構建設置中，勾選 丟棄舊的構建，此處的 保留分支的天數 和 保留分支的最大個數 預設為 -1。

丟棄舊的分支

說明：

分支設置的保留分支的天數和保持分支的最大個數兩個選項可以同時對分支進行作用，只要某個分支的保留天數和個數不滿足任何一個設置的條件，則將丟棄該分支。假設設置的保留天數和個數為 2 和 3，則分支的保留天數一旦超過 2 或者保留個數超過 3，則將丟棄該分支。預設兩個值為 -1，表示不自動刪除分支。

丟棄舊的分支將確定何時應丟棄項目的分支記錄。分支記錄包括控制台輸出，存檔工件以及與特定分支相關的其他元數據。保持較少的分支可以節省 Jenkins 所使用的磁碟空間，我們提供了兩個選項來確定應何時丟棄舊的分支：

  • 保留分支的天數：如果分支達到一定的天數，則丟棄分支。
  • 保留分支的個數：如果已經存在一定數量的分支，則丟棄最舊的分支。

2、預設的 腳本路徑 為 Jenkinsfile，需要修改為 Jenkinsfile-on-prem。

註：路徑是 Jenkinsfile 在代碼倉庫的路徑，表示它在示例倉庫的根目錄，若文件位置變動則需修改其腳本路徑。

3、在 掃描 Repo Trigger 勾選 如果沒有掃描觸發，則定期掃描，掃描時間間隔可根據團隊習慣設定，本示例設置為 5 minutes。

說明：定期掃描是設定一個周期讓流水線周期性地掃描遠程倉庫，根據 行為策略 查看倉庫有沒有代碼更新或新的 PR。

Webhook 推送：

Webhook 是一種高效的方式可以讓流水線發現遠程倉庫的變化並自動觸發新的運行，GitHub 和 Git (如 Gitlab) 觸發 Jenkins 自動掃描應該以 Webhook 為主，以上一步在 KubeSphere 設置定期掃描為輔。在本示例中，可以通過手動運行流水線，如需設置自動掃描遠端分支並觸發運行，詳見 設置自動觸發掃描 - GitHub SCM。

完成高級設置後點擊 創建。

advance

第四步：運行流水線

流水線創建後，點擊瀏覽器的 刷新 按鈕，可見一條自動觸發遠程分支後的運行記錄。

1、點擊右側 運行，將根據上一步的 行為策略 自動掃描代碼倉庫中的分支，在彈窗選擇需要構建流水線的 master分支，系統將根據輸入的分支載入 Jenkinsfile (此示例為根目錄下的 Jenkinsfile-on-prem)。

2、由於倉庫的 Jenkinsfile-on-prem 中 TAG_NAME: defaultValue 沒有設置預設值，因此在這裡的 TAG_NAME 可以輸入一個 tag 編號，比如輸入 v0.0.1。

3、點擊 確定，將新生成一條流水線活動開始運行。

說明: tag 用於在 GitLab 和 Harbor 中分別生成帶有 tag 的 release 和鏡像。 註意: 在主動運行流水線以發佈 release 時，TAG_NAME 不應與之前代碼倉庫中所存在的 tag 名稱重覆，如果重覆會導致流水線的運行失敗。

運行流水線

至此，流水線 已完成創建並開始運行。

註：點擊 分支 切換到分支列表，查看流水線具體是基於哪些分支運行，這裡的分支則取決於上一步 行為策略 的發現分支策略。

查看流水線

第五步：審核流水線

為方便演示，此處預設用當前賬戶來審核，當流水線執行至 input 步驟時狀態將暫停，需要手動點擊 繼續，流水線才能繼續運行。註意，在 Jenkinsfile-on-prem 中分別定義了三個階段 (stage) 用來部署至 Dev 環境和 Production 環境以及推送 tag，因此在流水線中依次需要對 deploy to dev, push with tag, deploy to production這三個階段審核 3次，若不審核或點擊 終止 則流水線將不會繼續運行。

審核流水線

說明：在實際的開發生產場景下，可能需要更高許可權的管理員或運維人員來審核流水線和鏡像，並決定是否允許將其推送至代碼或鏡像倉庫，以及部署至開發或生產環境。Jenkinsfile 中的 input 步驟支持指定用戶審核流水線，比如要指定用戶名為 project-admin 的用戶來審核，可以在 Jenkinsfile 的 input 函數中追加一個欄位，如果是多個用戶則通過逗號分隔，如下所示：

···
input(id: 'release-image-with-tag', message: 'release image with tag?', submitter: 'project-admin,project-admin1')
···

查看流水線

1、點擊流水線中 活動 列表下當前正在運行的流水線序列號，頁面展現了流水線中每一步驟的運行狀態，註意，流水線剛創建時處於初始化階段，可能僅顯示日誌視窗，待初始化 (約一分鐘) 完成後即可看到流水線。黑色框標註了流水線的步驟名稱，示例中流水線共 8 個 stage，分別在 Jenkinsfile-on-prem 中被定義。

stage

2、當前頁面中點擊右上方的 查看日誌，查看流水線運行日誌。頁面展示了每一步的具體日誌、運行狀態及時間等信息，點擊左側某個具體的階段可展開查看其具體的日誌。日誌可下載至本地，如出現錯誤，下載至本地更便於分析定位問題。

log

驗證運行結果

1、若流水線執行成功，點擊該流水線下的 代碼質量，即可看到通過 sonarQube 的代碼質量檢測結果，如下圖(僅供參考)。

2、流水線最終 build 的 Docker 鏡像也將被成功地 push 到 Harbor 中，我們在 Jenkinsfile-on-prem 中已經配置過 Harbor，登錄 Harbor 查看鏡像的 push 結果，可以看到 tag 為 snapshot、TAG_NAME(master-1)、latest 的鏡像已經被 push 到 Harbor，並且在 GitLab 中也生成了一個新的 tag 和 release。示例網站最終將以 deployment 和 service 分別部署到 KubeSphere 的 kubesphere-sample-dev 和 kubesphere-sample-prod 項目環境中。

環境 訪問地址 所在項目 (Namespace) 部署 (Deployment) 服務 (Service)
Dev 公網 IP : 30861 (${EIP}:${NODEPORT}) kubesphere-sample-dev ks-sample-dev ks-sample-dev
Production 公網 IP : 30961 (${EIP}:${NODEPORT}) kubesphere-sample-prod ks-sample ks-sample

3、可通過 KubeSphere 回到項目列表，依次查看之前創建的兩個項目中的部署和服務的狀態。例如，以下查看 kubesphere-sample-prod 項目下的部署。

進入該項目，在左側的菜單欄點擊 工作負載 → 部署，可以看到 ks-sample 已創建成功。正常情況下，部署的狀態應該顯示 運行中。

deploy

4、在菜單欄中選擇 網路與服務 → 服務 也可以查看對應創建的服務，可以看到該服務對外暴露的節點埠 (NodePort) 是 30961。

查看服務
service

5、查看推送到您個人的 Harbor 中的鏡像，可以看到 devops-java-sample 就是 APP_NAME 的值，而 tag也是在 Jenkinsfile-on-prem 中定義的 tag。

訪問示例服務

在瀏覽器或通過後臺命令訪問部署到 KubeSphere Dev 和 Production 環境的服務：

Dev 環境

例如，瀏覽器訪問 http://192.168.0.20:30861/ (即 http://IP:NodePort/) 可訪問到 Hello,World! 頁面，或通過後臺命令驗證：

curl http://192.168.0.20:30861
Hello,World!

Prodcution 環境

同上可訪問 http://192.168.0.20:30961/ (即 http://IP:NodePort/) 。

curl http://192.168.0.20:30961
Hello,World!

KubeSphere (https://github.com/kubesphere/kubesphere) 是一個開源的以應用為中心的容器管理平臺，支持部署在任何基礎設施之上，並提供簡單易用的 UI，極大減輕日常開發、測試、運維的複雜度，旨在解決 Kubernetes 本身存在的存儲、網路、安全和易用性等痛點，幫助企業輕鬆應對敏捷開發與自動化監控運維、端到端應用交付、微服務治理、多租戶管理、多集群管理、服務與網路管理、鏡像倉庫、AI 平臺、邊緣計算等業務場景。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • .net core Webapi +EF
    開發工具 Vs2017 +MSsqlsever 打開VS2017，新建web項目 點擊確認，生成項目，在項目中增加文件夾Model,在Model中增加類TodoItem 1 public class TodoItem 2 { 3 public long Id { get; set; } 4 publ ...
  • c#多個按鈕執行同一類事件-按鈕按下和彈起
    首先在Winform中添加一個Button控制項，在屬性裡面為控制項添加滑鼠按下和彈起事件（不要雙擊按鈕，在屬性裡面添加） 再添加其他幾個按鈕控制項，在控制項的屬性裡面為滑鼠按下和彈起添加已定義好處理函數（MotionLYP_MouseDown,MotionLYP_MouseUp），所有按鈕添加同樣的處理函 ...
  • Linux課程學習 第三課
    生活中的許多事，並不是我們不能做到，而是我們不相信能夠做到 https://www.linuxcool.com/ 一個很實用的Linux命令查詢網站,並且還有發音 如果我們在系統終端中執行一個命令後想立即停止它，可以同時按下Ctrl + C組合鍵（生產環境中比較常用的一個快捷鍵）， 這樣將立即終止該 ...
  • -bash: /home/java/jdk1.8.0_221/bin/java: 許可權不夠
    1）進入存放jdk文件的文件夾路徑我這裡是 usr/local/jdk/2)輸入命令 chmod 777 jdk1.8.0_221/bin/java修改許可權3）再次輸入 java -version 成功 轉載於：https://blog.csdn.net/weixin_43748192/articl ...
  • Makefile重點知識
    Makefile的基本規則 規則中的每個命令必須以一個tab開頭，有些Makefile版本可能需要兩個。 如果規則的依賴文件太多，可以使用 \ 接續，但是 \ 之後不能加空格，否則會出錯。 預設執行第一個目標。 偽目標 沒有依賴只有執行動作的目標稱為偽目標。 註意：一般用.PHONY來聲明偽目標，避 ...
  • vmware虛擬機安裝centos7.3
    vmware準備 CentOS準備，這裡下載的是CentOS 7.3CentOS-7-x86_64-Everything-1611.iso 創建新的虛擬機 選擇自定義安裝 硬體相容性預設最新的，不用動 選擇稍後安裝操作系統 選擇Linux CentOS64 填寫虛擬機實例名稱並選擇虛擬機存放位置（按 ...
  • linux 下rpm倉庫搭建
    一、概念 1.rpm是什麼？在幫助文檔里我們可以看到，rpm的名字是rpm package manage 的縮寫， 從名字上看就可以知道rpm就是一個包管理工具。簡單說rpm包就是把一些程式編譯成二進位，和一些配置文件以及幫助文檔等一些程式所依賴庫打包在一起，這樣形成的一個包。rpm大大的簡化用戶在 ...
  • Centos7安裝vsftp服務
    我們需要向centos操作系統的伺服器上上傳文件或者下載文件，這時候，ftp有必要安裝下， 我們選擇主流的vsftp； 第一步：安裝vsftp yum install -y vsftpd 第二步：設置開機啟動 systemctl enable vsftpd 第三步：啟動ftp服務 systemctl ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類