技術乾貨 從DBA視角看資料庫運維管理平臺

来源:https://www.cnblogs.com/greatsql/archive/2023/03/23/17246213.html
-Advertisement-
Play Games

GreatSQL社區原創內容未經授權不得隨意使用,轉載請聯繫小編並註明來源。 GreatSQL是MySQL的國產分支版本,使用上與MySQL一致。 作者: z 文章來源:GreatSQL社區原創 DBA崗位會被雲服務平臺取代嗎? 前段時間看到網上的一篇文章《你怎麼還在招聘DBA?》,引髮網友熱議。文 ...


  • GreatSQL社區原創內容未經授權不得隨意使用,轉載請聯繫小編並註明來源。
  • GreatSQL是MySQL的國產分支版本,使用上與MySQL一致。
  • 作者: z
  • 文章來源:GreatSQL社區原創

DBA崗位會被雲服務平臺取代嗎?

前段時間看到網上的一篇文章《你怎麼還在招聘DBA?》,引髮網友熱議。文章大致內容是講DBA的工作價值與雲廠商資料庫運維管理平臺服務價值兩者之間的PK。作者原文對DBA崗位的看法總結如下, DBA無論高中低級,就是乾這幾個事情:

  1. 安裝和部署DB, 讓它跑起來(up and running);
  2. 保證DB別掛了(Availability);
  3. 保證DB數據別丟了(Durability);
  4. 防止壞人訪問DB(Security);
  5. 別讓Dev搞砸資料庫(DB Modelling and Performance tuning);
  6. 領導交辦的打雜事項。

雲服務把DBA的工作都做了。那麼一個程式員, 用雲廠商的資料庫服務平臺, 能不能完成上述任務呢?

從以上6點總結,一切話題聚焦在DBA的工作價值,轉而推崇“開發者+雲服務比DBA高效十倍”,“DBA帶來的損害已經高於其價值”,言論相對激進。

不過不可否認,資料庫運維管理或服務平臺提供的價值,確實已經取代了一部分DBA低價值的工作。其實不是不需要DBA,而是把一些高度專業性、依賴高級DBA經驗、比較複雜的的問題集成到管理平臺產品中。提供流程化的解決辦法,釋放DBA重覆和冗餘的操作,避免項目上線、定位等全靠高技術人員支撐,人員不足的瓶頸問題。

INGASDAW1584165

圖片

DBA們及客戶期待的資料庫運維管理平臺是什麼樣的?

雲技術的應用和發展對資料庫運維管理提出了更多、更高的要求。特別是在資料庫國產化替換上,應該將DBA的更多基礎類工作轉移到管理平臺上,解放一部分生產力。客戶更關註的是資料庫管理的TCO(Total Cost of Ownership)總體擁有成本投入。那麼,資料庫運維管理平臺應該提供或具備以下能力:

1、保障核心業務系統做到全方位、精準化的運維管理。

核心方法以通過監控、告警、巡檢、運維知識庫集成等手段確保資料庫的高效穩定運行,避免靠人力監督的方式做運維。用戶角度是希望硬體資源利用率達到最大化,避免計算資源的浪費和長期空載,降本增效。

2、保障在資料庫架構管理識別上,實現一定的靈活性。

無論是並行大規模的集中交付,還是將已有業務接入運維管理平臺,都需要平臺根據用戶業務做靈活的適配和可定製化的統一管理。如MySQL資料庫生態中,無論是集中式的一主多從還是雙主複製、或中間件、MGR等,都能在監控大屏中全局總覽,並獨立訪問各架構的負載和拓撲狀態。即1中所提的全方位和精準把控。

3、在IaaS層資源支持上,提供快速標準化相容和適配。

如國產晶元、操作系統、存儲類型、平臺等。運維管理平臺能降低對硬體、操作系統版本、廠商的差異敏感度,提供流程化、標準化、規範化的統一檢查和配置。如硬體平臺識別、os依賴預檢和部署調度等。這樣一來,DBA們在國產化POC中就不用時刻攜帶U盤,考慮裝哪些檢測腳本、依賴包,怎麼做查驗和調參改配了。也是在用戶私有化交付環境中,管理平臺提高效率解決問題的一種具體體現。

4、雲管平臺不能包打天下,適合所有用戶。

雲廠商資料庫管理平臺的服務價值不可否認,給私有雲環境提供了很多思路,但雲管平臺不見得能包打天下,適合所有用戶。如:雲資料庫的性能問題,以及為解決性能問題而提供的付費優化服務。將業務SQL發現、分析、改造托管到平臺上,依靠平臺的性能分析服務來優化、解決性能問題,顯然不太樂觀。此外,僅是獨立功能付費選項就足以把人勸退,性價比不高。且雲平臺無法滿足個性化定製需求,因雲平臺定位是面向雲環境,雲資料庫等,基本二次開發或定製的可能性不太大,且並非所有用戶業務都適合遷移上雲。

因此,一款適用於私有雲或物理硬體環境的平臺,同時支持用戶業務定製,兼顧降本增效使命的資料庫管理平臺必不可少,比如GreatADM資料庫管理平臺,也許是一個不錯的選擇。

GreatADM是什麼,具備哪些能力?

GreatADM(GreatDB Administrator Platform,以下簡稱 GreatADM)是萬里資料庫自主研發的一款資料庫運維管理平臺。GreatADM提供穩定、高效、易用的管理平臺,支持萬里安全資料庫分散式和集中式的運維管理需求,以及MySQL生態產品。

GreatADM提供從安裝部署、運行管理,到資源擴縮,問題定位和性能分析等全鏈路的管理支持,極大地降低了標準化交付和運維管理的難度,有效支撐企業業務持續穩定運行,為企業發展真正做到增效、節能、降本。

圖片(GreatADM 架構圖)

GreatADM平臺能力

1、敏捷交付模式

在項目快速交付的需求場景下,從管理員角度出發,針對不同OS、不同架構的資料庫高可用方案,GreatADM可實現快速並行交付。它支持萬里安全資料庫分散式和集中式、金融三節點、 MGR、雙機高可用、傳統主從、雙主雙從和單實例的標準化批量部署。目前,GreatADM已相容國內多家操作系統,如拓林思、麒麟、龍蜥、歐拉、BClinux等系統。

2、集中納管模式

作為敏捷交付模式的補充,GreatADM從用戶角度出發,針對用戶原始分散業務提供集中化的平臺管理服務。支持用戶接入萬里安全資料庫分散式和集中式資料庫,以及用戶自建環境的MySQL,包括用戶傳統一主多從、雙主+keepalived、MGR等資料庫架構都能快速接入平臺,並提供軟體包分類管理、實例申請與銷毀、系統監控與告警、備份與恢復、性能優化等能力。

![圖片](data:image/svg+xml,%3C%3Fxml version='1.0' encoding='UTF-8'%3F%3E%3Csvg width='1px' height='1px' viewBox='0 0 1 1' version='1.1' xmlns='http://www.w3.org/2000/svg' xmlns:xlink='http://www.w3.org/1999/xlink'%3E%3Ctitle%3E%3C/title%3E%3Cg stroke='none' stroke-width='1' fill='none' fill-rule='evenodd' fill-opacity='0'%3E%3Cg transform='translate(-249.000000, -126.000000)' fill='%23FFFFFF'%3E%3Crect x='249' y='126' width='1' height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)

3、統一運維管理模式

GreatADM可為用戶提供包括資料庫的實例管理、節點擴縮容、實例運行分析、監控告警、安全審計、SQL開發、備份恢復和運行趨勢預判等服務,旨在降低DBA一對多的資料庫運維管理工作量,有效覆蓋絕大多數運維需求場景,釋放DBA日常運維工作壓力,解決運維過程中重覆性操作、定位故障難度大、診斷嚴重依賴人力和經驗判斷等問題,提升運維效率。

GreatADM 支持的拓撲結構預覽:

![圖片](data:image/svg+xml,%3C%3Fxml version='1.0' encoding='UTF-8'%3F%3E%3Csvg width='1px' height='1px' viewBox='0 0 1 1' version='1.1' xmlns='http://www.w3.org/2000/svg' xmlns:xlink='http://www.w3.org/1999/xlink'%3E%3Ctitle%3E%3C/title%3E%3Cg stroke='none' stroke-width='1' fill='none' fill-rule='evenodd' fill-opacity='0'%3E%3Cg transform='translate(-249.000000, -126.000000)' fill='%23FFFFFF'%3E%3Crect x='249' y='126' width='1' height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)(GreatDBRouter高可用方案拓撲架構)

![圖片](data:image/svg+xml,%3C%3Fxml version='1.0' encoding='UTF-8'%3F%3E%3Csvg width='1px' height='1px' viewBox='0 0 1 1' version='1.1' xmlns='http://www.w3.org/2000/svg' xmlns:xlink='http://www.w3.org/1999/xlink'%3E%3Ctitle%3E%3C/title%3E%3Cg stroke='none' stroke-width='1' fill='none' fill-rule='evenodd' fill-opacity='0'%3E%3Cg transform='translate(-249.000000, -126.000000)' fill='%23FFFFFF'%3E%3Crect x='249' y='126' width='1' height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)(GreatADM 管理MGR組複製拓撲)

![圖片](data:image/svg+xml,%3C%3Fxml version='1.0' encoding='UTF-8'%3F%3E%3Csvg width='1px' height='1px' viewBox='0 0 1 1' version='1.1' xmlns='http://www.w3.org/2000/svg' xmlns:xlink='http://www.w3.org/1999/xlink'%3E%3Ctitle%3E%3C/title%3E%3Cg stroke='none' stroke-width='1' fill='none' fill-rule='evenodd' fill-opacity='0'%3E%3Cg transform='translate(-249.000000, -126.000000)' fill='%23FFFFFF'%3E%3Crect x='249' y='126' width='1' height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)(MySQL傳統主從複製拓撲)

![圖片](data:image/svg+xml,%3C%3Fxml version='1.0' encoding='UTF-8'%3F%3E%3Csvg width='1px' height='1px' viewBox='0 0 1 1' version='1.1' xmlns='http://www.w3.org/2000/svg' xmlns:xlink='http://www.w3.org/1999/xlink'%3E%3Ctitle%3E%3C/title%3E%3Cg stroke='none' stroke-width='1' fill='none' fill-rule='evenodd' fill-opacity='0'%3E%3Cg transform='translate(-249.000000, -126.000000)' fill='%23FFFFFF'%3E%3Crect x='249' y='126' width='1' height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)(GreatADM 用戶定製拓撲)

從自身需求出發,做一款簡單、易用、功能強大的資料庫運維管理平臺,降低資料庫管理門檻,釋放DBA壓力。

  • GreatADM 一鍵安裝
  • GreatADM一鍵升級
  • GreatADM一鍵高可用部署
  • GreatADM一鍵調整資源用量

僅僅需要

安裝:./adm_install.sh   install  
卸載:./adm_install.sh  uninstall
升級更新:./adm_install.sh  upgrade

GreatADM產品優勢

1、GreatADM可做到對底層IaaS層的軟硬體、操作系統、雲廠商環境、晶元存儲等最小差異化或無差異的識別部署,降低基礎環境的敏感度和國產化項目交付中相容適配的難題,減輕DBA運維壓力;

2、GreatADM自身簡單、易用、容器化的部署,輕量且無外部依賴,支持萬里安全資料庫分散式、集中式等多種資料庫方案的同時,還兼顧用戶MySQL現有業務的統管,解決項目新舊更替業務遺留實例無法管理的情況;

3、GreatADM支持高可用容災部署和平臺橫向性能擴展,實際管理的資料庫節點能力在數百到數千節點量級。且支持物理主機的復用部署及主機資源池化分配,在最大程度上發揮主機性能,降低客戶硬體成本。


受限於篇幅原因,後續我們將分享GreatADM資料庫管理平臺產品的系列文章,詳細闡述GreatADM的產品能力,也為計劃在今年發佈的GreatADM社區開源版預熱。

如果您還在猶豫該選擇哪款資料庫管理平臺,不妨試試GreatADM。預先申請試用登記,請完成下方問卷提交試用申請以及填寫需求反饋和建議等,屆時我們將優先邀請部分用戶參與測試體驗。
https://www.greatdb.com/Home/mfsy/mfsy.html

下期我們將具體介紹GreatADM資料庫管理平臺的安裝部署,以及如何快速部署MySQL MGR,謝謝!

Enjoy GreatSQL

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 操作系統: RHEL7.x 或CentOS 7.x 最小化安裝 配置好固定的IP,能訪問互聯網 配置好yum源(yum repolist 可以查看yum源) 本地光碟 掛載光碟,開機自動掛載 vim + /etc/fstable /dev/sr0 /mnt iso9660 defaults 0 0 ...
  • 一:存儲架構 根據存儲設備所在的位置分類 1、DAS DAS:(Direct-Attached Storage)直連式存儲。伺服器使用專用線纜(例如SCSI)和存儲設備(例如磁碟陣列)進行直連。 特點: 優點是儲設備只能連接到一臺主機使用,無法共用,成本較高,且安全性可靠性較低 缺點是容量有限,不適 ...
  • 一、線程簡介 線程是參與系統調度的最小單位。它被包含在進程之中,是進程中的實際運行單位。 一個進程中可以創建多個線程,多個線程實現併發運行,每個線程執行不同的任務。 每個線程都有其對應的標識,稱為線程 ID,線程 ID 使用 pthread_t 數據類型來表示。 二、線程的創建 線程是輕量級的併發執 ...
  • MySQL基礎:事務 事務簡介 事務是一組操作的集合,它是一個不可分割的工作單位,事務會把所有的操作作為一個整體一起向系統提交或撤銷操作請求,即這些操作要麼同時成功,要麼同時失敗。 預設MySQL的事務是自動提交的,也就是說,當執行一條DML(數據操作語言:對資料庫進行增刪改操作)語句,MySQL會 ...
  • GreatSQL社區原創內容未經授權不得隨意使用,轉載請聯繫小編並註明來源。 GreatSQL是MySQL的國產分支版本,使用上與MySQL一致。 作者: 蟹黃瓜子 文章來源:GreatSQL社區投稿 Docker是一個開源的應用容器引擎,讓開發者可以打包他們的應用以及依賴包到一個可抑制的容器中,然 ...
  • 摘要:本文主要講解數倉運維中遇到單SQL磁碟空間管控問題的解析和方案。 本文分享自華為雲社區《GaussDB(DWS)運維 -- 單SQL磁碟空間管控》,作者: 譡里個檔。 【問題描述】 執行部分SQL語句時出現如下報錯信息(具體數值可能因為配置有差異),本文針對根因和場景觸發場景,確定觸發此類問題 ...
  • GreatSQL社區原創內容未經授權不得隨意使用,轉載請聯繫小編並註明來源。 GreatSQL是MySQL的國產分支版本,使用上與MySQL一致。 作者: 王權富貴 文章來源:GreatSQL社區原創 背景 在一次日常測試中發現,kill 一個會話後,SQL語句依然在運行並沒終止;被kill的會話重 ...
  • 作者:京東科技 杜曉玉 前言 資料庫,交易系統中最核心依賴,數據持久化屬於最核心服務。 隨著互聯網的普及,大流量高併發的場景越來越多,7*24的交易系統對高可用要求越來越高,同時在“數據為王”大環境下,交易數據最終通過資料庫進行持久化存儲,資料庫成為整個系統最終重要服務,不能出一點問題,尤其核心P0 ...
一周排行
    -Advertisement-
    Play Games
  • 概述:本文代碼示例演示瞭如何在WPF中使用LiveCharts庫創建動態條形圖。通過創建數據模型、ViewModel和在XAML中使用`CartesianChart`控制項,你可以輕鬆實現圖表的數據綁定和動態更新。我將通過清晰的步驟指南包括詳細的中文註釋,幫助你快速理解並應用這一功能。 先上效果: 在 ...
  • openGauss(GaussDB ) openGauss是一款全面友好開放,攜手伙伴共同打造的企業級開源關係型資料庫。openGauss採用木蘭寬鬆許可證v2發行,提供面向多核架構的極致性能、全鏈路的業務、數據安全、基於AI的調優和高效運維的能力。openGauss深度融合華為在資料庫領域多年的研 ...
  • openGauss(GaussDB ) openGauss是一款全面友好開放,攜手伙伴共同打造的企業級開源關係型資料庫。openGauss採用木蘭寬鬆許可證v2發行,提供面向多核架構的極致性能、全鏈路的業務、數據安全、基於AI的調優和高效運維的能力。openGauss深度融合華為在資料庫領域多年的研 ...
  • 概述:本示例演示了在WPF應用程式中實現多語言支持的詳細步驟。通過資源字典和數據綁定,以及使用語言管理器類,應用程式能夠在運行時動態切換語言。這種方法使得多語言支持更加靈活,便於維護,同時提供清晰的代碼結構。 在WPF中實現多語言的一種常見方法是使用資源字典和數據綁定。以下是一個詳細的步驟和示例源代 ...
  • 描述(做一個簡單的記錄): 事件(event)的本質是一個委托;(聲明一個事件: public event TestDelegate eventTest;) 委托(delegate)可以理解為一個符合某種簽名的方法類型;比如:TestDelegate委托的返回數據類型為string,參數為 int和 ...
  • 1、AOT適合場景 Aot適合工具類型的項目使用,優點禁止反編 ,第一次啟動快,業務型項目或者反射多的項目不適合用AOT AOT更新記錄: 實實在在經過實踐的AOT ORM 5.1.4.117 +支持AOT 5.1.4.123 +支持CodeFirst和非同步方法 5.1.4.129-preview1 ...
  • 總說周知,UWP 是運行在沙盒裡面的,所有許可權都有嚴格限制,和沙盒外交互也需要特殊的通道,所以從根本杜絕了 UWP 毒瘤的存在。但是實際上 UWP 只是一個應用模型,本身是沒有什麼許可權管理的,許可權管理全靠 App Container 沙盒控制,如果我們脫離了這個沙盒,UWP 就會放飛自我了。那麼有沒... ...
  • 目錄條款17:讓介面容易被正確使用,不易被誤用(Make interfaces easy to use correctly and hard to use incorrectly)限制類型和值規定能做和不能做的事提供行為一致的介面條款19:設計class猶如設計type(Treat class de ...
  • title: 從零開始:Django項目的創建與配置指南 date: 2024/5/2 18:29:33 updated: 2024/5/2 18:29:33 categories: 後端開發 tags: Django WebDev Python ORM Security Deployment Op ...
  • 1、BOM對象 BOM:Broswer object model,即瀏覽器提供我們開發者在javascript用於操作瀏覽器的對象。 1.1、window對象 視窗方法 // BOM Browser object model 瀏覽器對象模型 // js中最大的一個對象.整個瀏覽器視窗出現的所有東西都 ...