大數據開源項目,一站式全自動化全生命周期運維管家ChengYing(承影)走向何方?

来源:https://www.cnblogs.com/DTinsight/archive/2022/07/07/16455746.html
-Advertisement-
Play Games

原文鏈接:三分鐘走進袋鼠雲一站式全自動化全生命周期運維管家ChengYing(承影) 課件獲取:關註公眾號 ** “數棧研習社”,後臺私信 “ChengYing”** 獲得直播課件 視頻回放:點擊這裡 ChengYing 開源項目地址:github 丨 gitee 喜歡我們的項目給我們點個** ST ...


原文鏈接:三分鐘走進袋鼠雲一站式全自動化全生命周期運維管家ChengYing(承影)

課件獲取:關註公眾號 ** “數棧研習社”,後臺私信 “ChengYing”** 獲得直播課件

視頻回放:點擊這裡

ChengYing 開源項目地址:githubgitee 喜歡我們的項目給我們點個** STAR!STAR!!STAR!!!**(重要的事情說三遍)

技術交流釘釘qun:30537511

2022年5月30日,袋鼠雲對外開源了一站式全自動化運維管家ChengYing(承影),為了幫助社區同學更好的使用ChengYing,自開源之後我們就緊鑼密鼓的籌備直播相關事宜,從6月開始,我們將每月為大家組織一次直播,和大家分享ChengYing的相關內容,歡迎大家持續關註。

一、ChengYing簡介

ChengYing(承影)——承襲於袋鼠雲開源項目名劍家族的概念,取自十大名劍之承影劍。

ChengYing(承影)作為一站式全自動化全生命周期運維管家,提供大數據產品的一站式部署、運維、監控服務,其可實現產品部署、產品升級、版本回滾、擴縮節點、日誌診斷、集群監控、實時告警等功能,致力於最大化節省運維成本,降低線上故障率與運維難度,為客戶提供安全穩定的產品部署與監控。

ChengYing脫胎於袋鼠雲數棧自主研發的一站式運維管家EasyManager,從開放式統一監控、到定義標準化部署能力,而後引入Prometheus/Grafana/自研dt-alert組件,完成統一監控2.0的功能優化,再到新增多集群管理能力,最後完成了內部孵化,成功開源ChengYing。

file

二、ChengYing功能特性

在介紹ChengYing的功能特性之前,我們先熟悉幾個概念:

名詞概念

  • 產品

指用ChengYing部署的大數據產品,如數棧(DTinsight)、雲日誌(EasyLog)等,作為ChengYing最高級別的組織單位。

  • 組件

一般和"組件安裝包"等同,指產品下包含多個組件,即產品下包含多個組件安裝包,如數棧(DTinsight)產品下包含Hadoop、DTBase、DTCommon、DTBatch、DTStream等多個組件,代表不同的應用。

  • 服務組

組件下的服務分類,如Hadoop組件下包含HDFS、Spark、Yarn、Flink、Default等服務組,進行服務區分。

  • 服務

指服務組下的具體服務,如HDFS服務組下包含hdfs_datanode、hdfs_journalnode、hdfs_namenode、hdfs_zkfc等組件;Spark服務組下包含hivemetastore、spark_historyserver、thriftserver等組件。

  • 主機分組

指對主機進行人為分組,當主機數量過多時可進行分組,方便管理。

  • 主機

指伺服器,包含物理機、虛擬機,指產品部署時需要的硬體資源,通常以主機IP或主機名稱進行區分。

功能特性

ChengYing具備六大功能特性:

  • 統一的Schema定義

抽象化產品包定義,用一套標準的Schema定義一個產品包的完整的生命周期,包括安裝、啟動、配置、升級、卸載等。

  • 集群管理

支持多集群設置,便於在一套ChengYing系統中部署多套資源隔離的服務;支持對集群中所有產品包、所有主機、集群資源的管理。

  • 安裝部署

支持產品包的快速安裝與部署。

  • 服務管理

支持查看各服務及服務實例的運行、健康檢查狀態;

支持服務的配置修改下發;

支持服務的滾動重啟;

支持服務的配置查看。

  • 監控告警

集成prometheus/grafana組件作為可視化儀錶盤組件監控集群、主機、服務性能檢測;支持郵件、簡訊、釘釘以及自定義告警通道發送告警信息。

  • 節點擴容/縮容

支持根據集群運行狀況,產品化支持主機資源擴充與縮減。

三、ChengYing系統架構設計

  • ChengYing系統架構

file

  • ChengYing Agent設計

file

  • 統一Schema設計

file

  • 監控設計

file

  • 架構設計講解

由於架構設計講解的內容比較多,在此我們不做具體回顧,大家可以觀看視頻進行詳細瞭解。

B站直播回顧地址:

https://www.bilibili.com/video/BV1Ht4y187xo?spm_id_from=333.999.0.0

四、ChengYing快速入門

接下來為大家介紹如何快速部署ChengYing:

  • 環境要求

file

  • 快速部署

下載安裝包:

https://github.com/DTStack/chengying/releases/download/v1.0.0/chengying-release-1.0.tar.gz

解壓安裝包:

tar zxvf chengying-release-1.0.tar.gz

cd chengying-release-1.0

運行安裝腳本:

sh install.sh local_ip(local_ip為Chengying所在機器ip)

查看頁面:

http://local_ip

file

  • 上傳組件安裝包

file

  • 選擇集群與安裝包

file

file

  • 配置服務

file

  • 執行部署

file

五、ChengYing未來規劃

最後為大家介紹ChengYing的未來規劃及近期主要做的事情:

未來規劃

  • 服務編排

支持基於主機角色與服務類型自動編排,減少人工操作成本。

  • 部署方式

支持自定義部署產品包流水線順序。

  • 安全認證

支持集群開啟Kerberos認證,票據生成與下載。

  • 監控告警

支持基於PromQL的自定義告警設置,豐富告警類型。

近期重點事宜

  • 計劃8月底發佈ChengYing V1.1.0 Release。

  • 每月一次開源技術直播。

  • 與Chunjun/Taier夢幻聯動--嘗試使用ChengYing部署Chunjun/Taier。

袋鼠雲開源框架釘釘技術交流qun(30537511),歡迎對大數據開源項目有興趣的同學加入交流最新技術信息,開源項目庫地址:https://github.com/DTStack


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 目錄 一、前景回顧 二、線程的實現 三、線程的切換 四、運行測試 一、前景回顧 上一回我們實現了記憶體管理系統,說實話代碼還是比較多,看起來還是比較頭疼的,不過為了知識這都是小事。這一節終於可以來實現我們的線程了,以前學操作系統的時候,聽到的最多的就是什麼線程,進程等,這一回我們來自己動手實現一下,加 ...
  • WaveLab 11 Pro是一款非常強大的母帶製作工具,引入了對多通道交錯文件的擴展支持,並且首次在音頻編輯器中引入了多通道交錯編輯。WaveLab 11 Pro Mac版支持多達 22.2 環繞聲佈局的 WAV 文件(包括用於預創作目的的 Ambisonics 文件),可以像任何其他單聲道/立體 ...
  • Transmit 5是專為mac用戶設計的一款功能強大的ftp客戶端,Transmit Mac版同步功能增加了對本地到本地和遠程到遠程同步的支持,同時還為您提供了更精細的控制。與此同時,用戶還可以通過Transmit在任意應用程式中無須下載即可實時編輯文檔,除此之外,用戶還可以通過Transmit的 ...
  • DaVinci Resolve Studio 18 for Mac是一款Mac的達芬奇調色軟體,DaVinci Resolve 18是一次重大更新,這一版本彙集了超過100項新功能和200項改進!調色頁面設立了新的HDR調色工具,重新設計了一級校色控制工具,並添加了基於AI的Magic Mask遮罩 ...
  • 鏡像下載、功能變數名稱解析、時間同步請點擊 阿裡雲開源鏡像站 前言 本文主要學習 ROS機器人操作系統 ,在ROS系統里調用 OpenCV庫 實現人臉識別任務 一、環境配置 1.安裝ROS sudo apt-get install ros-kinetic-desktop-full 2.攝像頭調用 安裝攝像頭 ...
  • 摘要 RadonDB MySQL Kubernetes v2.2.0 於近日發佈!該版本開始支持 MySQL 8.0,備份功能優化,並全面提升高可用穩定性。社區同步發起“新版試用贏周邊”活動! 致謝 感謝 @runkecheng、 @acekingke、 @andyli029 、@zhl003、 @ ...
  • 作為雲原生技術先驅,騰訊雲資料庫內核團隊致力於不斷提升產品的可用性、可靠性、性能和可擴展性,為用戶提供更加極致的體驗。為幫助用戶瞭解極致體驗背後的關鍵技術點,本期帶來騰訊雲資料庫專家工程師王魯俊給大家分享的騰訊雲原生資料庫TDSQL-C的架構探索和實踐,內容主要分為四個部分: 本次分享主要分為四個部 ...
  • Tapdata Live Data Platform 發佈會演講精華總結+直播回放!閱讀文章詳情,獲取首批體驗官專屬權益!時代為何需要一個全新的實時數據架構?Tapdata 技術架構有何優勢和特性?Tapdata 的開源路線圖又是怎樣? ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...