搭建DevOps模式的項目

来源:https://www.cnblogs.com/haoxi/archive/2020/02/10/12290522.html

在後端的開發領域,各類開發框架都已經很多,在開發項目時可以根據不同的需要和需求選擇合適的開發框架。然而在需要開發一個完善的工程化項目時,僅僅一個後端開發框架是不夠的,還面臨著在對開發項目的快速迭代中進行測試,部署,監控等問題。為瞭解決這些問題,DevOps的開發模式應運而生。 基於個人對DevOps ...


在後端的開發領域,各類開發框架都已經很多,在開發項目時可以根據不同的需要和需求選擇合適的開發框架。然而在需要開發一個完善的工程化項目時,僅僅一個後端開發框架是不夠的,還面臨著在對開發項目的快速迭代中進行測試,部署,監控等問題。為瞭解決這些問題,DevOps的開發模式應運而生。

基於個人對DevOps的理解,搭建了一個基於Gin的開源後端項目來實踐下DevOps的各個概念:https://github.com/wanghaoxi3000/advproject

DevOps是一個寬泛的概念,這個項目也只是拋磚引玉,在測試環境下串聯起各個DevOps的基礎工具,存在的不足歡迎指出,一起學習和交流。

如何構建DevOps模式的項目

什麼是DevOps呢,對DevOps比較官方的定義如下:

DevOps 集文化理念、實踐和工具於一身,可以提高組織高速交付應用程式和服務的能力,與使用傳統軟體開發和基礎設施管理流程相比,能夠幫助組織更快地發展和改進產品。這種速度使組織能夠更好地服務其客戶,併在市場上更高效地參與競爭。

可以說DevOps是一組過程、方法與系統的統稱,涉及到開發中的組織架構,開發工具,基礎架構等等方面。但它的一個核心便是強調通過各類自動化的工具來自動執行軟體交付和基礎架構更改流程,從而快速、頻繁且更可靠地構建、測試和發佈軟體。這裡也將主要圍繞這個思想來構建DevOps的項目。

在這個基礎項目中,將主要圍繞如下部分的Devops實踐進行構建:

  • 持續集成:一種軟體開發實踐經驗,開發人員會定期將他們的代碼變更合併到一個中央存儲庫中,之後系統會自動運行構建和測試操作。
  • 持續交付:自動構建和測試代碼更改,併為將其發佈到生產環境做好準備,實現對持續集成的擴展。
  • 基礎設施即代碼:使用基於代碼的工具來連接基礎設施,並且能夠以處理應用程式代碼的方式來處理基礎設施。基礎設施和伺服器由代碼進行定義。
  • 監控和日誌記錄:組織對各項指標和日誌進行監控,以瞭解應用程式和基礎設施性能如何影響其產品的最終用戶體驗。

整個項目的開發流程如下:

開發工具及環境

要完成從開發到部署的一系列的流程,當然也少不了各種自動化工具及環境的支持,本項目所使用的環境如下:

  1. 代碼開發環境Go 1.13
  2. Github賬戶
  3. 容器倉庫,本項目使用騰訊雲容器服務
  4. Jenkins 2.190
  5. Kubernetes 本項目使用基於k8s v1.16.1的三節點集群

DevOps項目開發流程

通過advproject這個基於Gin的後端項目的代碼更新、提交、完成對項目的自動化測試、打包、部署的流程。

後端項目

advproject項目主要包含瞭如下部分:

整個代碼的結構如下

.
├── Dockerfile                  // Docker鏡像打包文件
├── Jenkinsfile                 // Jenkins CI 定義
├── README.md
├── api
│   └── status.go               // 運行狀態介面
├── config
│   ├── base.go                 // 基礎配置
│   └── init.go                 // 配置模塊初始化
├── deployment-template.yaml    // Kubernetes部署模板文件
├── docs                        // swag 介面文檔
│   ├── docs.go
│   ├── swagger.json
│   └── swagger.yaml
├── go.mod
├── go.sum
├── main.go
├── serializer
│   └── common.go               // 介面格式定義
├── server
│   └── router.go               // 路由
├── test
│   └── status_test.go          // 測試代碼
└── util
    └── logger.go               // 日誌模塊

Jenkins CI配置

在代碼有更新時,提交代碼到Github後,Jenkins會收到代碼Github推送通知,拉取代碼並讀取代碼中的Jenkinsfile文件來運行指定的流程。

可通過如下命令docker來快速運行一個Jenkins。為了在Jenkins容器中使用docker命令,將docker命令映射到了容器中,同時指定以root身份來運行容器。

docker run --name=jenkins_lts -d -u root -v jenkins_home:/var/jenkins_home -v /var/run/docker.sock:/var/run/docker.sock -v $(which docker):/bin/docker -p 8080:8080 -p 50000:50000 -e JAVA_OPTS=-Duser.timezone=Asia/Shanghai jenkins/jenkins:lts

在Jenksin容器啟動完成併成功登陸後,可以點擊主界面右下角的Jenkins 中文社區鏈接,然後更新中心鏡像設置為國內源,加快插件的下載速度。

環境配置

本項目中主要使用到這些Jenkins插件,可以在插件管理頁面中搜索安裝:

  • Blue Ocean 方便和Pipeline搭配使用
  • Kubernetes Cli Plugin 通過kubectl操控k8s集群

在執行部署的推送鏡像、通知等過程中,需要使用到不方便暴露在代碼中的密鑰,如何在Jenkinsfile中使用這些密鑰呢?可以提前在Jenkins的憑據管理中錄入這些密鑰,Jenkinsfile中以變數的方式進行調用。這裡配置瞭如下的憑證:

  • tcloud-docker-reg 鏡像倉庫登錄密鑰
  • kubctl-config kubectl密鑰
  • PUSH_KEY 基於Server醬通知推送的密鑰

建立項目

通過Jenkinsfile文件以代碼聲明的方式來定義持續集成的流程,需要在Jenkins中建立一個 Pipeline流水線項目。

選擇新建任務,輸入任務名建立一個流水線項目:

General選項卡中勾選GitHub項目,並填入項目地址:

在代碼推送後,使用GitHub的webhook功能推送代碼更新消息,需要在構建觸發器中勾選GitHub hook trigger for GITScm polling

此後還需要在GitHub的代碼項目中配置webhook推送更新的地址,相關文章已有很多,這裡就不再累述了。

最後,在流水線配置中填入代碼地址:

指定分支中預設為*/master,表示拉取master分支的更新,如果想要拉取指定tag的代碼。可以按這樣的格式來配置:+refs/tags/*:refs/remotes/origin/tags/*

運行一下,可以看見Jenkins開始啟動並運行了。

通過Blue Ocean,可以看見更詳細的運行圖。

推送結果

推送的結果將通過Server醬推送到綁定的微信中。Server醬是一個很方便的微信推送服務,只需要綁定下GitHub賬戶,之後請求對應地址即可向微信推送消息。推送的信息包含本次集成的結果和代碼更新的記錄,集成結果在Jenkinsfile中可以通過${currentBuild.result}來獲取。代碼更新記錄Jenkins沒有對應的變數,可以通過運行git log --pretty=format:\'%h - %an,%ar : %s\' --since=\'1 hours\' | head -n 1來獲取代碼最近一次的變更記錄。

部署到Kubernetes

項目每次更新完成,同通過Jenkins拉取代碼測試無誤後,將會把項目打包成鏡像並以build-${BUILD_NUMBER}作為tag,並推送到騰訊雲的私有鏡像倉庫中,${BUILD_NUMBER}是Jenkins運行任務時的環境變數,表示運行本次集成任務的序號。之後以項目中deployment-template.yaml為模板,替換對應變數後部署到k8s集群上。

Jenkins pipeline 執行完成後登錄集群節點,運行kubectl get pods,可以看到剛剛部署上的項目,已全處於了Running狀態了。

NAME                          READY   STATUS    RESTARTS   AGE
advproject-6f5d4d7d5d-pwmrp   1/1     Running   0          33s
advproject-6f5d4d7d5d-zscz2   1/1     Running   0          19s

為了便於測試,快速訪問集群中的服務,可以按如下配置啟動一個NodePort的Service,將Pod的埠暴露出來。

apiVersion: v1
kind: Service
metadata:
  name: advproject-svc
spec:
  type: NodePort
  ports:
  - port: 3000
    targetPort: 3000
    protocol: TCP
  selector:
    app: advproject

通過kubectl get service可以看到NodePode分配的埠號為30942:

NAME             TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)          AGE
advproject-svc   NodePort    10.110.152.165   <none>        3000:30942/TCP   25d

在節點上運行curl localhost:30942/api/v1/hostname,可以查看到項目對應的hostname,由於部署的Deployment文件中設置的replicas: 2,項目部署的節點數為2,請求的hostname也會隨機出現兩種。

日誌監控

進入k8s的dashboard,在側邊欄選擇容器組,可以看見運行項目的兩個容器的,點擊日誌可以在網頁中分別查看每個容器的控制台日誌。這裡可以看到剛剛請求hostname介面的日誌,以及k8s在定時請求status介面進行健康檢查。
容器日誌

為了更好的收集和分析日誌,這裡將通過k8s的ELK插件,來統一收集日誌。克隆k8s對應版本的代碼,使用k8s項目/cluster/addons/fluentd-elasticsearch目錄下的示例代碼,使用kubectl apply -f .命令可以快速部署一個ELk插件。

部署完成後,登錄kibana,創建一個預設的 logstash-* pattern。
index

稍等一會,就可以Discover菜單下看到ElasticSearch logging中匯聚的日誌,在Filters中搜索Gin,可以看到本項目的日誌了。
日誌

總結

至此,一個以DevOps模式的項目開發流程便大致完成了。當然這個過程也還有很多可以繼續完善的地方,比如生成更詳細的代碼測試報表、使用kibana生成日誌報表、監測代碼中的錯誤日誌並報警等等。通過DevOps,將開發、測試、運維這些步驟緊密聯繫了起來,使得構建、測試、發佈軟體能夠更加地快捷、頻繁和可靠。除了這些技術和工具,DevOps也更需要組織中各個部門之間的進行良好的溝通、協作與整合。在實際開發中,需要通過各個部門的分工合作,開發人員編寫業務和單元測試代碼;測試人員設計測試用例,關註代碼測試報告;運維人員設計Kubernetes部署模板,監控系統及日誌數據,這樣才能發揮DevOps的最大效力,更好地為客戶服務併在市場中更有競爭力。


您的分享是我們最大的動力!

更多相關文章
  • Vue實現動態路由及登錄&404頁面跳轉控制&頁面刷新空白解決方案 by:授客 QQ:1033553122 開發環境 Win 10 Vue 2.9.6 node-v10.15.3-x64.msi 下載地址: https://nodejs.org/en/ 代碼片段(router/index.js) 說 ...
  • 網頁交互效果的實現 滾動條高度的獲取以及設置:document.body.scrollTop || document.documentElement.scrollTop .split() 把字元串分割成數組 .join() 把數組轉為字元串 .replace( /\s+/g, " ") 正則全局替換 ...
  • 之前已經完成了靜態頁面的開發,接下來是網頁動態效果製作 css實現動畫的兩種方式: 1、transition: all 1s; 2、animation: move 1s infinite ease-in-out .5s; @keyframes move{ 0%{ transform: rotate( ...
  • start 基於 koa 2.11 按以下流程分析: app.use() use 方法定義在 中: this.middleware 這就是一個數組,用來存放所有中間件,然後按順序執行。 app.listen() 這個方法定義在 中: this.callback() this.handleReques ...
  • 編輯器:sublime text3 標註工具:PxCook 切圖工具:PS 開發前準備:設計圖標註 PxCook 空格鍵可以上下拖動 大致標註圖紙:(可惜不能文字標註和拉參考線) 開發前準備:PS切圖 在指定圖層上新建一個圖層,使用ctrl+e 合併圖層,可以將任意圖層轉為普通圖層 (如果圖層是下麵 ...
  • 本文的主題是 Glitch Art,故障藝術。 什麼是故障藝術?我們熟知的抖音的 LOGO 正是故障藝術其中一種表現形式。它有一種魔幻的感覺,看起來具有閃爍、震動的效果,很吸引人眼球。 故障藝術它模擬了畫面信號出現故障導致成像錯誤的感覺。青色色塊與紅色色塊無法重合就是這種故障的體現。從膠片時代開始到 ...
  • 前言 分散式共識的概念 在多個節點均可獨自操作或記錄的情況下,使得所有節點針對某個狀態達到一致的過程,通過共識機制可以使得分散式系統中多個節點的數據達成一致。分散式共識技術其實就是區塊鏈共識機制的核心 分散式共識與一致性的區別 一致性強調的是結果,共識強調的是達成一致的過程 分散式共識的關鍵 獲得記 ...
  • 分散式選舉的原因 分散式系統中需要一個主節點,該節點用於負責對其他節點進行協調和管理。同時主節點的存在能夠保證分散式集群數據的一致性。 分散式選舉演算法 1. Bully演算法 選舉原則:偏向於讓ID更大的節點作為集群的leader 前提條件:假設集群中所有節點都知道其他節點的id 消息類型/節點狀態: ...
一周排行
  • 枚舉是 C 中最有意思的一部分,大部分開發人員只瞭解其中的一小部分,甚至網上絕大多數的教程也只講解了枚舉的一部分。那麼,我將通過這篇文章向大傢具體講解一下枚舉的知識。我將從大家都瞭解的部分開始講解,然後再講解大家所不知道的或者瞭解很少的部分。 零、基礎知識 枚舉是由開發人員聲明的一種 值類型 ,它在 ...
  • 一. elasticsearch on windows 1.下載地址: https://www.elastic.co/cn/downloads/elasticsearch 如果瀏覽器下載文件慢,建議使用迅雷下載,速度很快。下載版本為7.5.2 2. 修改配置文件 下載後解壓,找到config\jvm ...
  • 最近因為” 新冠” 疫情在家辦公,學習了 ASP.NET Core MVC 網站的一些知識,記錄如下。 ...
  • Regex.Replace("<!--(.|[\r\n])*?-->",string.Empty) ...
  • 本筆記摘抄自:https://www.cnblogs.com/PatrickLiu/p/7743118.html,記錄一下學習過程以備後續查用。 一、引言 今天我們要講結構型設計模式的第四個模式--組合模式。當我們談到這個模式的時候,有一個物件和這個模式很像,那就是“俄羅斯套娃”。“俄羅斯套娃”是 ...
  • 一、前言 Entity Framework(後面簡稱EF)作為微軟家的ORM,自然而然從.NET Framework延續到了.NET Core。 二、程式包管理器控制台 為了能夠在控制臺中使用命令行來操作EF,需要先安裝Microsoft.EntityFrameworkCore.Tools。 安裝 ...
  • 項目gitHub地址 點我跳轉 今天給大家帶來一個C#裡面的時間工具類,具體的直接看下麵代碼 1 using System; 2 3 namespace ToolBox.DateTimeTool 4 { 5 public static class DateTimeExtend 6 { 7 /// < ...
  • 《C# 6.0 本質論》 [作者] (美) Mark Michaelis (美) Eric Lippert[譯者] (中) 周靖 龐燕[出版] 人民郵電出版社[版次] 2017年02月 第5版[印次] 2017年02月 第1次 印刷[定價] 108.00元 【前言】 成功學習 C# 的關鍵在於,要盡 ...
  • 本筆記摘抄自:https://www.cnblogs.com/PatrickLiu/p/7772184.html,記錄一下學習過程以備後續查用。 一、引言 今天我們要講結構型設計模式的第五個模式--外觀模式。先從名字上來理解一下外觀模式,當看到“外觀”這個詞時,很容易想到“外表”這個詞語,兩者有著 ...
  • 在 C 中存在一個名叫靜態類型檢查的機制,這個機制可以讓編譯器幫助我們把類型不服的用法找出來,從而使得應用程式在運行期間加少一些類型檢查的操作。但是有時候我們還是需要進行運行期類型檢查,比如我們在設計框架時將方法的參數類型定義為 object ,那麼這時我們就有很大的可能需要將 object 類型的 ...
x