他來了!袋鼠雲大數據基礎平臺EasyMR正式上線

来源:https://www.cnblogs.com/DTinsight/archive/2022/09/22/16718687.html
-Advertisement-
Play Games

7月28日,在袋鼠雲2022產品發佈會上,袋鼠雲技術負責人思樞正式宣佈旗下產品「大數據基礎平臺EasyMR」發佈。 EasyMR是袋鼠雲自研的大數據基礎平臺,提供Hadoop、Hive、Spark、Trino、HBase、Kafka等組件,完全相容Apache開源生態;支持企業級安全管控,一鍵開啟L ...


7月28日,在袋鼠雲2022產品發佈會上,袋鼠雲技術負責人思樞正式宣佈旗下產品「大數據基礎平臺EasyMR」發佈。

EasyMR是袋鼠雲自研的大數據基礎平臺,提供Hadoop、Hive、Spark、Trino、HBase、Kafka等組件,完全相容Apache開源生態;支持企業級安全管控,一鍵開啟LDAP+Kerberos+Ranger認證許可權體系;提供一站式運維管理平臺,幫助企業快速構建大數據平臺,降低運維成本。

結合袋鼠雲在數字化領域多年的寸積銖累,此次全新發佈的大數據基礎平臺EasyMR緊跟開源生態的先進技術,不僅可以幫助客戶輕鬆應對海量數據的採集、存儲、計算、分析挖掘和數據安全等應用場景,並且對於智能運維的部署、升級、擴縮容、監控等進行全方位支持,真正做到成為企業便捷、智能、高效的“數據底座”。

六大特性打造國產大數據基礎平臺

不同於十年前的新奇,現在大家已經完全習慣自己身處於“大數據時代”這件事情,所有人都能夠深切地感受到大數據對於生活帶來的各種改變和便利,數據爆發的時代推動著每個個人、企業、行業,甚至是國家往前走。

當前國際形勢風雲變幻,中美雙邊關係的割裂,國家對於信創國產化的大力支持,給國內的大數據行業帶來巨大衝擊的同時,也帶來了全新機遇。

數據基礎平臺作為一切的基礎和底座,自然成為國產替代的重中之重。只有真正擁有了自主可控的平臺建設能力,才能逐步建立基於自己的 IT 底層架構和標準,形成自有開放生態。

EasyMR就是這樣一款自主研發、完全可控的,致力於助力企業信息化智慧轉型的“企業數據底座”。

file

下麵通過描述EasyMR的主要特性,來具體說說,EasyMR是如何幫助企業實現智能的?

● 界面化集群運維

Hadoop集群、大數據平臺在日常運維中涉及到的節點擴容縮容、組件停止啟動、服務滾動重啟、服務參數修改、版本升級與回滾等多種運維操作,通過邏輯化、流程化的產品界面展現,方便運維人員操作和監控,提高運維效率。

● 自動化部署

EasyMR通過規範化的步驟和參數約定製作出產品安裝包,發佈包中的Schema文件中配置了安裝包中所有的服務,包含各服務的配置參數、健康檢查參數,服務之間的依賴關係等。產品部署時可根據Schema中的相關配置實現一鍵全自動化部署。

● 儀錶盤集群監控

通過集成開源的Promethus和Grafana,實現對集群、服務、節點的核心參數監控,並通過靈活形象的儀錶盤進行數據展現。包含CPU占用率,RAM使用率、磁碟空間、IO讀寫速率等核心參數進行監控,實時掌握集群、服務、節點的運行狀態,降低運維故障率。同時,支持用戶自建儀錶盤及監控項,實現自定義監控項。

● 實時告警

支持實時監控集群中各組件服務的運行指標,如CPU、記憶體、磁碟、讀寫IO等,並支持簡訊、釘釘、郵件告警通道配置,集成多種第三方消息插件。當集群服務出現異常時,可觸發告警條件,系統將及時通知接收人。

● 強擴展性

通過自研的Easyagent Server抽象出七大REST介面,安裝、啟動、停止、更新、配置修改、卸載、執行等與上層應用進行交互,可使agent類別和功能可輕鬆無限擴展。

● 安全穩定

數據安全、產品安全是大數據產品需要重點考慮的問題。EasyMR在產品設計中過濾掉rm、drop等命令行,防止對資料庫的誤操作,通過更加安全的方式執行相關命令。同時提供服務的滾動重啟、產品的斷電重啟,解決運維時服務不停止運行的場景並節省運維時間。

豐富的大數據組件夯實數據基座

EasyMR支持Hadoop2.8.5、Hadoop3.2.1大數據集群搭建,支持豐富的大數據組件,用戶可以根據業務需要進行組件的選擇。

那麼,EasyMR具體支持那些大數據組件呢?

● Yarn

版本支持:

· Yarn 支持Hadoop 2.8.5、3.2.1

主要功能為Hadoop的資源調度器,負責管理整個Hadoop集群的資源(CPU和記憶體)管理和調度。

● Hdfs

版本支持:

· Hdfs 支持Hadoop 2.8.5、3.2.1

Hdfs即Hadoop 分散式文件系統,是Hadoop的三大基礎組件之一,主要是處理大數據場景下數據的增、刪、改、查、文件切片等功能。

● Flink

版本支持:

· Flink 1.12

面向數據流處理和批量數據處理的可分散式的開源計算框架。

● Spark

版本支持:

· Spark 2.4.8

基於記憶體的新一代分散式開源大數據框架,支持離線,實時計算,也支持 SQL 語法以及機器學習的處理。

EasyMR對開源組件的SQL的DDL能力進行了增強,支持Add Column語法。

● Hive

版本支持:

· Hive 2.3.8

· Hive 3.1.2

基於Hadoop的一套離線數據處理系統,在HDFS之上提供了結構化的表數據的管理能力,提供類 SQL 的查詢語法進行數據分析處理。

● Trino

版本支持:

· Trino 0.359

分散式SQL查詢引擎, 用來專門進行高速、實時的數據分析。

EasyMR對Trino的Connector進行了增強,支持Connector的動態載入;對社區的Connector進行了擴展,支持星環Inceptor插件。

● Hbase

版本支持:

· Hbase 1.3.5

· Hbase 2.3.4

一款高可靠性、高性能、面向列、可伸縮、實時讀寫的分散式資料庫。

● Zookeeper

版本支持:

· Zookeeper 3.6.2

分散式應用程式協調服務,分散式應用程式可基於它實現同步服務,配置維護和命名服務等,為分散式集群提供一種可靠、可擴展、分散式、可配置的協調機制來統一系統的狀態。

一起進行一次安裝部署吧

其中,簡潔、易上手也是EasyMR的一大優勢。EasyMR既希望幫助企業實現多源數據的高效集成,全量數據的高效分析,同時也希望能夠降低平臺的使用門檻,不會讓上手難度成為影響企業數字化轉型進程的一道壁壘。

所以,和我們一起進行一次大數據產品的安裝部署吧!

創建集群

EasyMR支持多集群的統一管理。

file

基於物理機/虛擬機進行主機集群創建。

file

「添加主機」,通過賬號接入、命令行接入的方式進行主機節點的添加

file
file

上傳組件安裝包

選擇平臺已有的組件安裝包進行安裝部署,或者通過本地上傳、網路上傳的方式上傳自己的組件安裝包。

file

一鍵快速自動化部署

EasyMR支持單個產品包的手動部署和多個產品包的自動部署兩種部署方式。

自動部署通過上傳產品線定義組件部署流程,平臺解析篩選相關組件,根據定義的主機角色實現自動資源自動編排,平臺根據依賴關係完成組件的順序部署,大大節省了運維逐個部署、資源配置的時間。

file

產品安裝過程中,我們可以實時看到服務部署進度、查看部署日誌,服務部署情況一目瞭然。

file

7*24小時實時監控告警

EasyMR通過集成開源的promethus和grafana,實現對集群、服務、節點的核心參數監控,並通過靈活形象的儀錶盤進行數據展現。包含CPU占用率,RAM使用率、磁碟空間、I/O讀寫速率等核心參數進行監控,實時掌握集群、服務、節點的運行狀態,降低運維故障率。同時,支持用戶自建儀錶盤及監控項,實現自定義監控項。

file

設置告警規則

平臺提供 “簡訊通道、郵件通道、釘釘通道、企業微信通道、自定義通道” 5種通道配置,用戶根據需要選擇合適通道並填寫通道配置信息、消息模板、地址等完成通道配置。

file
file

寫在最後

沒錯,EasyMR就是這樣一款好用、易用、高效的大數據基礎工具,覆蓋企業服務監控運維、組件的升級與回滾、離線數據分析、流式數據處理等多種應用場景。

未來EasyMR將堅持自主創新,不斷進化,將積累的大數據實踐經驗複製到更多的企業。

袋鼠雲開源框架釘釘技術交流qun(30537511),歡迎對大數據開源項目有興趣的同學加入交流最新技術信息,開源項目庫地址:https://github.com/DTStack/Taier


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 從頭一二去閱讀語法和命令說明,對於腳本小白來說比較枯燥,難以堅持,所以這裡選擇對一份完整的shell腳本代碼來逐行逐段解讀,希望可以一渡小白,幫助我們快速進入腳本的大門^_^ ...
  • 版本控制gitlab 什麼是版本控制gitlab GitLab 是一個用於倉庫管理系統的開源項目,使用Git作為代碼管理工具,併在此基礎上搭建起來的Web服務。安裝方法是參考GitLab在GitHub上的Wiki頁面。Gitlab是目前被廣泛使用的基於git的開源代碼管理平臺, 基於Ruby on ...
  • 提到直流無刷電機,那不得不提的就是有刷電機了。有刷電機有一個比較令人討厭的缺點:那就是“吵”。 因為電刷和換向環需要時刻不停地摩擦,才能給電樞供電。 所以,如果你想要一個“靜音風扇”的話,肯定不能選使用了有刷電機的產品。 並且電刷使用時間久了,比較容易損壞。電流較大的時候,你甚至可以看到電刷在換向的 ...
  • 腳本安裝lamp [[email protected] ~]# mkdir lamp [[email protected] ~]# cd lamp/ [[email protected] lamp]# mkdir files [[email protected] lamp]# ls files [[email protected] ...
  • 2022-09-18-21:28:59 老師作業說明: TOP500中國超算占比,LINUX系統占比 說明:當時使用的是bing搜索,中國超算占比其實澎湃新聞什麼的都有介紹,但是我對它的數據來源持懷疑態度,索性自己去官網上看資料,後面解決Linux系統占比問題時,也是直接想著在官網解決,其實後面和同 ...
  • 近日, 在一個小型項目中, 遇到了一個觸及我知識盲區的bug. 項目用的是MySQL 5.7.25, 其中有一張表 config_data, 包含四個欄位, id, name, value, expireAt. 其中id為主鍵, name建有唯一索引, 表的用途大概就是存放一些有時效性的配置. 以上 ...
  • Hadoop的第一個產品是HDFS,可以說分散式文件存儲是分散式計算的基礎,也可見分散式文件存儲的重要性。如果我們將大數據計算比作烹飪,那麼數據就是食材,而Hadoop分散式文件系統HDFS就是燒菜的那口大鍋。這些年來,各種計算框架、各種演算法、各種應用場景不斷推陳出新,讓人眼花繚亂,但是大數據存儲的 ...
  • 前記 (可跳過這段來自本up的羅里吧嗦。。。) 在做上一個項目的時候,需要用到本地資料庫,以前做公司項目用的是輕量級資料庫Realm,做自己小項目用的是greenDAO,大學學的是SQL server,但是在flutter中,相關插件用的資料庫是SQLite(sqflite插件),但本人還沒接觸過S ...
一周排行
    -Advertisement-
    Play Games
  • Github / Gitee QQ群(1群) : 813100564 / QQ群(2群) : 579033769 視頻教學 介紹 MiniWord .NET Word模板引擎,藉由Word模板和數據簡單、快速生成文件。 Getting Started 安裝 nuget link : https:// ...
  • Array.Sort Array類中相當實用的我認為是Sort方法,相比起冗長的冒泡排序,它的出現讓排序更加的簡化 結果如下: 還可以聲明一個靜態方法用來專門調用指定數組排序,從名為 array 的一維數組中 a 索引處開始,到 b 元素 從小到大排序。 註意: a + b 不能大於 array 的 ...
  • 前言 在上一篇文章CLR類型系統概述里提到,當運行時掛起時, 垃圾回收會執行堆棧遍歷器(stack walker)去拿到堆棧上值類型的大小和堆棧根。這裡我們來翻譯BotR里一篇專門介紹Stackwalking的文章,希望能加深理解。 順便說一句,StackWalker在中文里似乎還沒有統一的翻譯,J ...
  • 使用過 nginx 的小伙伴應該都知道,這個中間件是可以設置跨域的,作為今天的主角,同樣的 反向代理中間件的 YARP 毫無意外也支持了跨域請求設置。 有些小伙伴可能會問了,怎樣才算是跨域呢? 在 HTML 中,一些標簽,例如 img、a 等,還有我們非常熟悉的 Ajax,都是可以指向非本站的資源的 ...
  • 什麼是Git Git 是一個開源的分散式版本控制系統,用於敏捷高效地處理任何或小或大的項目。 Git 是 Linus Torvalds 為了幫助管理 Linux 內核開發而開發的一個開放源碼的版本控制軟體。 Git 與常用的版本控制工具 CVS, Subversion 等不同,它採用了分散式版本庫的 ...
  • 首先CR3是什麼,CR3是一個寄存器,該寄存器內保存有頁目錄表物理地址(PDBR地址),其實CR3內部存放的就是頁目錄表的記憶體基地址,運用CR3切換可實現對特定進程記憶體地址的強制讀寫操作,此類讀寫屬於有痕讀寫,多數驅動保護都會將這個地址改為無效,此時CR3讀寫就失效了,當然如果能找到CR3的正確地址... ...
  • 說明 onlyoffice為一款開源的office線上編輯組件,提供word/excel/ppt編輯保存操作 以下操作均基於centos8系統,officeonly鏡像版本7.1.2.23 鏡像下載地址:https://yunpan.360.cn/surl_y87CKKcPdY4 (提取碼:1f92 ...
  • 二叉樹查找指定的節點 前序查找的思路 1.先判斷當前節點的no是否等於要查找的 2.如果是相等,則返回當前節點 3.如果不等,則判斷當前節點的左子節點是否為空,如果不為空,則遞歸前序查找 4.如果左遞歸前序查找,找到節點,則返回,否繼續判斷,當前的節點的右子節點是否為空,如果不為空,則繼續向右遞歸前 ...
  • ##Invalid bound statement (not found)出現原因和解決方法 ###前言: 想必各位小伙伴在碼路上經常會碰到奇奇怪怪的事情,比如出現Invalid bound statement (not found),那今天我就來分析以下出現此問題的原因。 其實出現這個問題實質就是 ...
  • ###一、背景知識 爬蟲的本質就是一個socket客戶端與服務端的通信過程,如果我們有多個url待爬取,只用一個線程且採用串列的方式執行,那隻能等待爬取一個結束後才能繼續下一個,效率會非常低。 需要強調的是:對於單線程下串列N個任務,並不完全等同於低效,如果這N個任務都是純計算的任務,那麼該線程對c ...