大數據開源項目,一站式全自動化全生命周期運維管家ChengYing(承影)走向何方?

来源:https://www.cnblogs.com/DTinsight/archive/2022/07/07/16455746.html
-Advertisement-
Play Games

原文鏈接:三分鐘走進袋鼠雲一站式全自動化全生命周期運維管家ChengYing(承影) 課件獲取:關註公眾號 ** “數棧研習社”,後臺私信 “ChengYing”** 獲得直播課件 視頻回放:點擊這裡 ChengYing 開源項目地址:github 丨 gitee 喜歡我們的項目給我們點個** ST ...


原文鏈接:三分鐘走進袋鼠雲一站式全自動化全生命周期運維管家ChengYing(承影)

課件獲取:關註公眾號 ** “數棧研習社”,後臺私信 “ChengYing”** 獲得直播課件

視頻回放:點擊這裡

ChengYing 開源項目地址:githubgitee 喜歡我們的項目給我們點個** STAR!STAR!!STAR!!!**(重要的事情說三遍)

技術交流釘釘qun:30537511

2022年5月30日,袋鼠雲對外開源了一站式全自動化運維管家ChengYing(承影),為了幫助社區同學更好的使用ChengYing,自開源之後我們就緊鑼密鼓的籌備直播相關事宜,從6月開始,我們將每月為大家組織一次直播,和大家分享ChengYing的相關內容,歡迎大家持續關註。

一、ChengYing簡介

ChengYing(承影)——承襲於袋鼠雲開源項目名劍家族的概念,取自十大名劍之承影劍。

ChengYing(承影)作為一站式全自動化全生命周期運維管家,提供大數據產品的一站式部署、運維、監控服務,其可實現產品部署、產品升級、版本回滾、擴縮節點、日誌診斷、集群監控、實時告警等功能,致力於最大化節省運維成本,降低線上故障率與運維難度,為客戶提供安全穩定的產品部署與監控。

ChengYing脫胎於袋鼠雲數棧自主研發的一站式運維管家EasyManager,從開放式統一監控、到定義標準化部署能力,而後引入Prometheus/Grafana/自研dt-alert組件,完成統一監控2.0的功能優化,再到新增多集群管理能力,最後完成了內部孵化,成功開源ChengYing。

file

二、ChengYing功能特性

在介紹ChengYing的功能特性之前,我們先熟悉幾個概念:

名詞概念

  • 產品

指用ChengYing部署的大數據產品,如數棧(DTinsight)、雲日誌(EasyLog)等,作為ChengYing最高級別的組織單位。

  • 組件

一般和"組件安裝包"等同,指產品下包含多個組件,即產品下包含多個組件安裝包,如數棧(DTinsight)產品下包含Hadoop、DTBase、DTCommon、DTBatch、DTStream等多個組件,代表不同的應用。

  • 服務組

組件下的服務分類,如Hadoop組件下包含HDFS、Spark、Yarn、Flink、Default等服務組,進行服務區分。

  • 服務

指服務組下的具體服務,如HDFS服務組下包含hdfs_datanode、hdfs_journalnode、hdfs_namenode、hdfs_zkfc等組件;Spark服務組下包含hivemetastore、spark_historyserver、thriftserver等組件。

  • 主機分組

指對主機進行人為分組,當主機數量過多時可進行分組,方便管理。

  • 主機

指伺服器,包含物理機、虛擬機,指產品部署時需要的硬體資源,通常以主機IP或主機名稱進行區分。

功能特性

ChengYing具備六大功能特性:

  • 統一的Schema定義

抽象化產品包定義,用一套標準的Schema定義一個產品包的完整的生命周期,包括安裝、啟動、配置、升級、卸載等。

  • 集群管理

支持多集群設置,便於在一套ChengYing系統中部署多套資源隔離的服務;支持對集群中所有產品包、所有主機、集群資源的管理。

  • 安裝部署

支持產品包的快速安裝與部署。

  • 服務管理

支持查看各服務及服務實例的運行、健康檢查狀態;

支持服務的配置修改下發;

支持服務的滾動重啟;

支持服務的配置查看。

  • 監控告警

集成prometheus/grafana組件作為可視化儀錶盤組件監控集群、主機、服務性能檢測;支持郵件、簡訊、釘釘以及自定義告警通道發送告警信息。

  • 節點擴容/縮容

支持根據集群運行狀況,產品化支持主機資源擴充與縮減。

三、ChengYing系統架構設計

  • ChengYing系統架構

file

  • ChengYing Agent設計

file

  • 統一Schema設計

file

  • 監控設計

file

  • 架構設計講解

由於架構設計講解的內容比較多,在此我們不做具體回顧,大家可以觀看視頻進行詳細瞭解。

B站直播回顧地址:

https://www.bilibili.com/video/BV1Ht4y187xo?spm_id_from=333.999.0.0

四、ChengYing快速入門

接下來為大家介紹如何快速部署ChengYing:

  • 環境要求

file

  • 快速部署

下載安裝包:

https://github.com/DTStack/chengying/releases/download/v1.0.0/chengying-release-1.0.tar.gz

解壓安裝包:

tar zxvf chengying-release-1.0.tar.gz

cd chengying-release-1.0

運行安裝腳本:

sh install.sh local_ip(local_ip為Chengying所在機器ip)

查看頁面:

http://local_ip

file

  • 上傳組件安裝包

file

  • 選擇集群與安裝包

file

file

  • 配置服務

file

  • 執行部署

file

五、ChengYing未來規劃

最後為大家介紹ChengYing的未來規劃及近期主要做的事情:

未來規劃

  • 服務編排

支持基於主機角色與服務類型自動編排,減少人工操作成本。

  • 部署方式

支持自定義部署產品包流水線順序。

  • 安全認證

支持集群開啟Kerberos認證,票據生成與下載。

  • 監控告警

支持基於PromQL的自定義告警設置,豐富告警類型。

近期重點事宜

  • 計劃8月底發佈ChengYing V1.1.0 Release。

  • 每月一次開源技術直播。

  • 與Chunjun/Taier夢幻聯動--嘗試使用ChengYing部署Chunjun/Taier。

袋鼠雲開源框架釘釘技術交流qun(30537511),歡迎對大數據開源項目有興趣的同學加入交流最新技術信息,開源項目庫地址:https://github.com/DTStack


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 目錄 一、前景回顧 二、線程的實現 三、線程的切換 四、運行測試 一、前景回顧 上一回我們實現了記憶體管理系統,說實話代碼還是比較多,看起來還是比較頭疼的,不過為了知識這都是小事。這一節終於可以來實現我們的線程了,以前學操作系統的時候,聽到的最多的就是什麼線程,進程等,這一回我們來自己動手實現一下,加 ...
  • WaveLab 11 Pro是一款非常強大的母帶製作工具,引入了對多通道交錯文件的擴展支持,並且首次在音頻編輯器中引入了多通道交錯編輯。WaveLab 11 Pro Mac版支持多達 22.2 環繞聲佈局的 WAV 文件(包括用於預創作目的的 Ambisonics 文件),可以像任何其他單聲道/立體 ...
  • Transmit 5是專為mac用戶設計的一款功能強大的ftp客戶端,Transmit Mac版同步功能增加了對本地到本地和遠程到遠程同步的支持,同時還為您提供了更精細的控制。與此同時,用戶還可以通過Transmit在任意應用程式中無須下載即可實時編輯文檔,除此之外,用戶還可以通過Transmit的 ...
  • DaVinci Resolve Studio 18 for Mac是一款Mac的達芬奇調色軟體,DaVinci Resolve 18是一次重大更新,這一版本彙集了超過100項新功能和200項改進!調色頁面設立了新的HDR調色工具,重新設計了一級校色控制工具,並添加了基於AI的Magic Mask遮罩 ...
  • 鏡像下載、功能變數名稱解析、時間同步請點擊 阿裡雲開源鏡像站 前言 本文主要學習 ROS機器人操作系統 ,在ROS系統里調用 OpenCV庫 實現人臉識別任務 一、環境配置 1.安裝ROS sudo apt-get install ros-kinetic-desktop-full 2.攝像頭調用 安裝攝像頭 ...
  • 摘要 RadonDB MySQL Kubernetes v2.2.0 於近日發佈!該版本開始支持 MySQL 8.0,備份功能優化,並全面提升高可用穩定性。社區同步發起“新版試用贏周邊”活動! 致謝 感謝 @runkecheng、 @acekingke、 @andyli029 、@zhl003、 @ ...
  • 作為雲原生技術先驅,騰訊雲資料庫內核團隊致力於不斷提升產品的可用性、可靠性、性能和可擴展性,為用戶提供更加極致的體驗。為幫助用戶瞭解極致體驗背後的關鍵技術點,本期帶來騰訊雲資料庫專家工程師王魯俊給大家分享的騰訊雲原生資料庫TDSQL-C的架構探索和實踐,內容主要分為四個部分: 本次分享主要分為四個部 ...
  • Tapdata Live Data Platform 發佈會演講精華總結+直播回放!閱讀文章詳情,獲取首批體驗官專屬權益!時代為何需要一個全新的實時數據架構?Tapdata 技術架構有何優勢和特性?Tapdata 的開源路線圖又是怎樣? ...
一周排行
    -Advertisement-
    Play Games
  • 示例項目結構 在 Visual Studio 中創建一個 WinForms 應用程式後,項目結構如下所示: MyWinFormsApp/ │ ├───Properties/ │ └───Settings.settings │ ├───bin/ │ ├───Debug/ │ └───Release/ ...
  • [STAThread] 特性用於需要與 COM 組件交互的應用程式,尤其是依賴單線程模型(如 Windows Forms 應用程式)的組件。在 STA 模式下,線程擁有自己的消息迴圈,這對於處理用戶界面和某些 COM 組件是必要的。 [STAThread] static void Main(stri ...
  • 在WinForm中使用全局異常捕獲處理 在WinForm應用程式中,全局異常捕獲是確保程式穩定性的關鍵。通過在Program類的Main方法中設置全局異常處理,可以有效地捕獲並處理未預見的異常,從而避免程式崩潰。 註冊全局異常事件 [STAThread] static void Main() { / ...
  • 前言 給大家推薦一款開源的 Winform 控制項庫,可以幫助我們開發更加美觀、漂亮的 WinForm 界面。 項目介紹 SunnyUI.NET 是一個基於 .NET Framework 4.0+、.NET 6、.NET 7 和 .NET 8 的 WinForm 開源控制項庫,同時也提供了工具類庫、擴展 ...
  • 說明 該文章是屬於OverallAuth2.0系列文章,每周更新一篇該系列文章(從0到1完成系統開發)。 該系統文章,我會儘量說的非常詳細,做到不管新手、老手都能看懂。 說明:OverallAuth2.0 是一個簡單、易懂、功能強大的許可權+可視化流程管理系統。 有興趣的朋友,請關註我吧(*^▽^*) ...
  • 一、下載安裝 1.下載git 必須先下載並安裝git,再TortoiseGit下載安裝 git安裝參考教程:https://blog.csdn.net/mukes/article/details/115693833 2.TortoiseGit下載與安裝 TortoiseGit,Git客戶端,32/6 ...
  • 前言 在項目開發過程中,理解數據結構和演算法如同掌握蓋房子的秘訣。演算法不僅能幫助我們編寫高效、優質的代碼,還能解決項目中遇到的各種難題。 給大家推薦一個支持C#的開源免費、新手友好的數據結構與演算法入門教程:Hello演算法。 項目介紹 《Hello Algo》是一本開源免費、新手友好的數據結構與演算法入門 ...
  • 1.生成單個Proto.bat內容 @rem Copyright 2016, Google Inc. @rem All rights reserved. @rem @rem Redistribution and use in source and binary forms, with or with ...
  • 一:背景 1. 講故事 前段時間有位朋友找到我,說他的窗體程式在客戶這邊出現了卡死,讓我幫忙看下怎麼回事?dump也生成了,既然有dump了那就上 windbg 分析吧。 二:WinDbg 分析 1. 為什麼會卡死 窗體程式的卡死,入口門檻很低,後續往下分析就不一定了,不管怎麼說先用 !clrsta ...
  • 前言 人工智慧時代,人臉識別技術已成為安全驗證、身份識別和用戶交互的關鍵工具。 給大家推薦一款.NET 開源提供了強大的人臉識別 API,工具不僅易於集成,還具備高效處理能力。 本文將介紹一款如何利用這些API,為我們的項目添加智能識別的亮點。 項目介紹 GitHub 上擁有 1.2k 星標的 C# ...