海西 · 雲交付 DevOps實踐落地方案

一、背景概述（一）產品背景 1.互聯網+的需要在信息越來越繁雜的互聯網時代，公司所運行的項目越來越多，項目相關服務繁多，服務之間存在複雜的依賴關係，運維與管理任務越來越繁重，手工交付需要花費很多的人力與時間，且安全性和時效性均無法保證。對於多資源型分佈/分離式部署項目，Udeployer應運 ...

一、背景概述（一）產品背景 1.互聯網+的需要在信息越來越繁雜的互聯網時代，公司所運行的項目越來越多，項目相關服務繁多，服務之間存在複雜的依賴關係，運維與管理任務越來越繁重，手工交付需要花費很多的人力與時間，且安全性和時效性均無法保證。對於多資源型分佈/分離式部署項目，Udeployer應運而生。 2.隨著企業對版本上線質量和速度的要求越來越高，敏捷開發、Devops的接受度越來越高傳統的交付方式因為項目之間缺少依賴、環境不一致、版本不一致、人為操作失誤等情況使得項目交付過程中問題不斷，而互聯網企業發展節奏快、版本發佈頻率高，上線出故障影響面廣、影響度高，因而企業對於敏捷開發、持續集成、自動發佈都有強烈的需求。（二）產品定義

Udeployer是一套完整的持續交付生態系統，在交付過程的每一個步驟都是可視化、自動化的，可以帶來包括效能在內的顯著的好處，同時也改進了軟體的總體質量。Udeployer集合了SVN、Jenkins、swarm、docker、registry等工具，在跨網段、跨內外網等方面可以完美相容。Udeployer提供項目配置中心，抽象公共配置，項目配置靈活裝配。在整個版本交付生命周期推薦使用Udeployer，能夠把人為的干預最小化、節省各環節等待時間，使得交付的流程更清晰化，一旦把人的干預去掉，質量就更加可預測，會變得更好。（三）產品目標

1. 構建環境依賴和應用依賴，快速實現多點部署並實現橫向部署；
2. 實現從代碼變更到代碼構建，鏡像構建和應用部署的全流程自動化；
3. 保障項目交付過程中環境的一致性與連貫性，讓交付的不僅是代碼，還有基於不可變架構的運行環境；
4. 持續反饋，隨時隨時隨地構建、隨時隨地獲取回饋信息，讓每次集成或交付，都會第一時間將結果實時反饋；
5. 減少人工操作，避免開發與測試在人工操作上的失誤。
二、產品介紹

（一）產品理念

（二）系統拓撲圖

（三）系統業務構架描述

（四）系統功能介紹系統功能主要分為三個層面：源碼交付層、版本發佈層、容器管理層。（1）源碼交付層 1.1 源碼交付層實現對版本的管理。將SVN版本號與業務版本號一一對應，通過SVN版本號記錄業務版本號，包括新版本的創建、多版本的演變過程、多版本邏輯的相對獨立、多版本的映射關係等。

1.2 源碼交付層通過合併主幹、創建分支、版本歸檔、版本回滾功能實現對源碼路徑的管理，保證不同版本源碼的一致性。

（2）版本交付層版本交付層通過項目管理、任務管理、工作流管理功能實現持續集成、自動部署、一鍵發佈。項目管理主要實現版本交付所需要的準備數據的創建與管理，包括項目列表、應用列表、資料庫列表、部署模板、郵件模板、配置模板等基礎數據的創建；任務管理主要是實現任務的創建與管理，包括自動化部署、Jenkins構建、重啟應用、關閉應用、自動觸發郵件發送、分發命令、日誌查詢、SQl腳本執行等任務；工作流管理主要實現對任務工作流程的裝配與管理。用戶根據實際場景需求，通過自定義工作流模板，將任務單個或多次裝配到流程中，定義成模板，實現一鍵或批量執行多個任務。（3）容器交付層容器交付層主要通過對集群、節點、容器、鏡像倉庫的創建與管理，提供全流程標準化的主機管理、應用持續集成、鏡像構建、部署管理、容器運維、主機及容器監控服務，實現公有和私有集群的容器化管理，確保不同環境的容器一致性，統一不同環境的依賴關係。 Swarm集群主要是實現集群的創建與管理。用來管理docker集群，可進行節點掛載；節點主要是實現節點的創建與管理，包括節點掛載集群、添加容器；容器主要是實現對容器的創建與管理，包括選擇鏡像、掛載節點等；鏡像倉庫是集中存放鏡像文件的場所，包括公共的與私有的，提供對鏡像文件的查詢。（五）產品方案規格產品方案不同的規格介紹，或者對產品方案技術規格的介紹。（一）產品第一階段將產品功能分為兩個部分：服務組件、我的服務。服務組件主要負責執行服務功能的基礎數據的準備工作，完成項目列表、應用列表、資料庫列表、部署模板、郵件模板的創建與管理。我的服務是功能執行模塊，包括SVN源碼交付、SQL腳本執行、應用部署、分發器、日誌查詢。SVN源碼交付包括合併主幹、創建分支、版本歸檔、版本回滾、版本發佈操作記錄功能，實現一站式全生命周期的管理，同時讓所有記錄都有跡可循，便於跟蹤記錄。（二）產品第二階段實現配置中心，將配置文件統一集中管理。對於企業用戶而言，把不同環境的配置，寫到同一個配置文件中，是極其不安全的，是一個非常危險的動作。為解決這一安全隱患，交付系統採用集中式的配置管理系統，將不同環境的配置嚴格區分地存放。將配置文件按照類型區分為公共配置文件、項目配置文件。公共配置文件可保存為模板，多次迴圈使用，解決了多次創建的煩惱。通過文件目標路徑維度將公共配置文件與項目配置文件進行存放管理。通過路徑快速定位到具體的文件，更具時效性、可操作性、安全性。（三）產品第三階段隨著公司業務的不斷發展壯大，體系越來越多，需要運維的工程也越來越多。如何快速、安全、穩定的交付功能，投入到生產中式企業必須解決的一個問題。交付系統通過工作流的方式，用戶可以將每個工程所需要執行的任務裝配成工作流，保存為模板，實現一鍵執行及批量執行。支持同一任務的不同環節裝配、多次裝配、不同環境、多場景的工作流創建。這樣不僅減少了浪費，提高開發和交付過程的效率，還可以使軟體隨時處於生產就緒狀態，以便可以隨時實現部署。三、應用場景（一）應用模式（1）單分支開發模式確定基線、拉分支、合主幹、項目發佈、版本歸檔、持續交付

（2）多分支開發模式確定基線、拉（特性）分支、同步/回滾/合主幹、項目發佈、版本歸檔、持續交付

（3）一站式服務模式

（4）分散式服務模式

（二）應用流程多分支開發模式 1.1 確定基線 SVN-Trunk：工程Demo – 特性開發 – 穩定版本 1.2 拉分支分支來源於穩定主幹，用於新功能的實現。穩定主幹均需符合以下條件：（1）版本已發佈生產環境；（2）版本完成版本歸檔。 1.3 合併主幹由提測分支合併，用於功能測試、測試環境、預發佈環境、生產環境的運行。合併主幹需具備前置條件：提測郵件。提測郵件需具備以下六要素：項目名稱、版本號、分支路徑、腳本路徑、部署手冊、功能邊界（1）直接合併主幹提測版本號末位-1與當前主幹版本號一致。（2）先同步該主幹，再合併主幹 2.1 提測版本號末位-1與當前主幹版本號不一致，且其他分支有歸檔記錄； 2.2 找到最近一次歸檔的版本號，同步歸檔的版本號，再合併主幹。（3）先回滾上一版本，再合併主幹 3.1 提測版本號末位-1與當前主幹版本號不一致，其他分支無歸檔記錄，提測版本號末位-1在歷史版本中存在； 3.2 需找到主幹版本號末位-1的主幹，先回滾到上一版本，再合併主幹。（4）先回滾分支對應主幹，再合併主幹 4.1 提測版本號末位-1與當前主幹版本號不一致，其他分支無歸檔記錄，提測版本號末位-1在歷史版本中不存在； 4.2需找到對應的拉分支時主幹，先回滾到對應主幹，再合併主幹。 1.4 項目發佈（1）持續集成 Jenkins是將代碼進行統一的編譯打包、還可以放到tomcat容器中進行發佈。通過配置，將以前：編譯、打包、上傳、部署到Tomcat中的過程交由Jenkins，Jenkins通過給定的代碼地址URL，將代碼拉取到其“宿主伺服器”（就是Jenkins的安裝位置），進行編譯、打包和發佈到容器中。在Jenkins的宿主伺服器中必須要有可以進行：代碼clone（Git）、代碼編譯（Maven）、代碼運行（Tomcat）的基本環境。（2）持續部署 Udeployer集合了Jenkins、swarm、docker等工具，在跨網段、跨內外網等方面可以靈活配置。在整個版本交付生命周期（包括部署在內）推薦使用Udeployer，能夠把人為的干預最小化、節省各環節等待時間，使得交付的流程更清晰化。一旦把人的干預去掉，質量就更加可預測，會變得更好。四、產品特性介紹（一）產品特性 l 一站式源碼生命周期管理 l 一站式版本生命周期管理 l 一站式容器生命周期管理（二）應用特性 l 實現線上運維模式； l 開發運維開發的閉環； l 實現從源碼到服務的完整閉環； l 快速迭代，運維前置嵌入； l 統一的環境，灰度發佈，快速試錯/回滾； l 實現版本追溯並且持續反饋；（三）系統特性 l 底層服務由Python開發並對外暴露介面，實現對SVN、Jenkins、docker等終端服務調用； l Web端由Java開發，實現封裝Python介面渲染到瀏覽器並實現許可權管理； l Java、Python基於docker容器開發部署，易擴展，易遷移，實現打包就走。五、技術實現（一）相關技術 l API介面開發規範 l Jenkins底層介面調用 l SVN多分支並行方案 l Docker、swarm容器技術 l WebSocket消息實時交互。六、運維實施