原文鏈接:三分鐘走進袋鼠雲一站式全自動化全生命周期運維管家ChengYing(承影) 課件獲取:關註公眾號 ** “數棧研習社”,後臺私信 “ChengYing”** 獲得直播課件 視頻回放:點擊這裡 ChengYing 開源項目地址:github 丨 gitee 喜歡我們的項目給我們點個** ST ...
原文鏈接:三分鐘走進袋鼠雲一站式全自動化全生命周期運維管家ChengYing(承影)
課件獲取:關註公眾號 ** “數棧研習社”,後臺私信 “ChengYing”** 獲得直播課件
視頻回放:點擊這裡
ChengYing 開源項目地址:github 丨 gitee 喜歡我們的項目給我們點個** STAR!STAR!!STAR!!!**(重要的事情說三遍)
技術交流釘釘qun:30537511
2022年5月30日,袋鼠雲對外開源了一站式全自動化運維管家ChengYing(承影),為了幫助社區同學更好的使用ChengYing,自開源之後我們就緊鑼密鼓的籌備直播相關事宜,從6月開始,我們將每月為大家組織一次直播,和大家分享ChengYing的相關內容,歡迎大家持續關註。
一、ChengYing簡介
ChengYing(承影)——承襲於袋鼠雲開源項目名劍家族的概念,取自十大名劍之承影劍。
ChengYing(承影)作為一站式全自動化全生命周期運維管家,提供大數據產品的一站式部署、運維、監控服務,其可實現產品部署、產品升級、版本回滾、擴縮節點、日誌診斷、集群監控、實時告警等功能,致力於最大化節省運維成本,降低線上故障率與運維難度,為客戶提供安全穩定的產品部署與監控。
ChengYing脫胎於袋鼠雲數棧自主研發的一站式運維管家EasyManager,從開放式統一監控、到定義標準化部署能力,而後引入Prometheus/Grafana/自研dt-alert組件,完成統一監控2.0的功能優化,再到新增多集群管理能力,最後完成了內部孵化,成功開源ChengYing。
二、ChengYing功能特性
在介紹ChengYing的功能特性之前,我們先熟悉幾個概念:
名詞概念
- 產品
指用ChengYing部署的大數據產品,如數棧(DTinsight)、雲日誌(EasyLog)等,作為ChengYing最高級別的組織單位。
- 組件
一般和"組件安裝包"等同,指產品下包含多個組件,即產品下包含多個組件安裝包,如數棧(DTinsight)產品下包含Hadoop、DTBase、DTCommon、DTBatch、DTStream等多個組件,代表不同的應用。
- 服務組
組件下的服務分類,如Hadoop組件下包含HDFS、Spark、Yarn、Flink、Default等服務組,進行服務區分。
- 服務
指服務組下的具體服務,如HDFS服務組下包含hdfs_datanode、hdfs_journalnode、hdfs_namenode、hdfs_zkfc等組件;Spark服務組下包含hivemetastore、spark_historyserver、thriftserver等組件。
- 主機分組
指對主機進行人為分組,當主機數量過多時可進行分組,方便管理。
- 主機
指伺服器,包含物理機、虛擬機,指產品部署時需要的硬體資源,通常以主機IP或主機名稱進行區分。
功能特性
ChengYing具備六大功能特性:
- 統一的Schema定義
抽象化產品包定義,用一套標準的Schema定義一個產品包的完整的生命周期,包括安裝、啟動、配置、升級、卸載等。
- 集群管理
支持多集群設置,便於在一套ChengYing系統中部署多套資源隔離的服務;支持對集群中所有產品包、所有主機、集群資源的管理。
- 安裝部署
支持產品包的快速安裝與部署。
- 服務管理
支持查看各服務及服務實例的運行、健康檢查狀態;
支持服務的配置修改下發;
支持服務的滾動重啟;
支持服務的配置查看。
- 監控告警
集成prometheus/grafana組件作為可視化儀錶盤組件監控集群、主機、服務性能檢測;支持郵件、簡訊、釘釘以及自定義告警通道發送告警信息。
- 節點擴容/縮容
支持根據集群運行狀況,產品化支持主機資源擴充與縮減。
三、ChengYing系統架構設計
- ChengYing系統架構
- ChengYing Agent設計
- 統一Schema設計
- 監控設計
- 架構設計講解
由於架構設計講解的內容比較多,在此我們不做具體回顧,大家可以觀看視頻進行詳細瞭解。
B站直播回顧地址:
https://www.bilibili.com/video/BV1Ht4y187xo?spm_id_from=333.999.0.0
四、ChengYing快速入門
接下來為大家介紹如何快速部署ChengYing:
- 環境要求
- 快速部署
下載安裝包:
https://github.com/DTStack/chengying/releases/download/v1.0.0/chengying-release-1.0.tar.gz
解壓安裝包:
tar zxvf chengying-release-1.0.tar.gz
cd chengying-release-1.0
運行安裝腳本:
sh install.sh local_ip(local_ip為Chengying所在機器ip)
查看頁面:
http://local_ip
- 上傳組件安裝包
- 選擇集群與安裝包
- 配置服務
- 執行部署
五、ChengYing未來規劃
最後為大家介紹ChengYing的未來規劃及近期主要做的事情:
未來規劃
- 服務編排
支持基於主機角色與服務類型自動編排,減少人工操作成本。
- 部署方式
支持自定義部署產品包流水線順序。
- 安全認證
支持集群開啟Kerberos認證,票據生成與下載。
- 監控告警
支持基於PromQL的自定義告警設置,豐富告警類型。
近期重點事宜
-
計劃8月底發佈ChengYing V1.1.0 Release。
-
每月一次開源技術直播。
-
與Chunjun/Taier夢幻聯動--嘗試使用ChengYing部署Chunjun/Taier。
袋鼠雲開源框架釘釘技術交流qun(30537511),歡迎對大數據開源項目有興趣的同學加入交流最新技術信息,開源項目庫地址:https://github.com/DTStack