技術乾貨 從DBA視角看資料庫運維管理平臺

来源:https://www.cnblogs.com/greatsql/archive/2023/03/23/17246213.html
-Advertisement-
Play Games

GreatSQL社區原創內容未經授權不得隨意使用,轉載請聯繫小編並註明來源。 GreatSQL是MySQL的國產分支版本,使用上與MySQL一致。 作者: z 文章來源:GreatSQL社區原創 DBA崗位會被雲服務平臺取代嗎? 前段時間看到網上的一篇文章《你怎麼還在招聘DBA?》,引髮網友熱議。文 ...


  • GreatSQL社區原創內容未經授權不得隨意使用,轉載請聯繫小編並註明來源。
  • GreatSQL是MySQL的國產分支版本,使用上與MySQL一致。
  • 作者: z
  • 文章來源:GreatSQL社區原創

DBA崗位會被雲服務平臺取代嗎?

前段時間看到網上的一篇文章《你怎麼還在招聘DBA?》,引髮網友熱議。文章大致內容是講DBA的工作價值與雲廠商資料庫運維管理平臺服務價值兩者之間的PK。作者原文對DBA崗位的看法總結如下, DBA無論高中低級,就是乾這幾個事情:

  1. 安裝和部署DB, 讓它跑起來(up and running);
  2. 保證DB別掛了(Availability);
  3. 保證DB數據別丟了(Durability);
  4. 防止壞人訪問DB(Security);
  5. 別讓Dev搞砸資料庫(DB Modelling and Performance tuning);
  6. 領導交辦的打雜事項。

雲服務把DBA的工作都做了。那麼一個程式員, 用雲廠商的資料庫服務平臺, 能不能完成上述任務呢?

從以上6點總結,一切話題聚焦在DBA的工作價值,轉而推崇“開發者+雲服務比DBA高效十倍”,“DBA帶來的損害已經高於其價值”,言論相對激進。

不過不可否認,資料庫運維管理或服務平臺提供的價值,確實已經取代了一部分DBA低價值的工作。其實不是不需要DBA,而是把一些高度專業性、依賴高級DBA經驗、比較複雜的的問題集成到管理平臺產品中。提供流程化的解決辦法,釋放DBA重覆和冗餘的操作,避免項目上線、定位等全靠高技術人員支撐,人員不足的瓶頸問題。

INGASDAW1584165

圖片

DBA們及客戶期待的資料庫運維管理平臺是什麼樣的?

雲技術的應用和發展對資料庫運維管理提出了更多、更高的要求。特別是在資料庫國產化替換上,應該將DBA的更多基礎類工作轉移到管理平臺上,解放一部分生產力。客戶更關註的是資料庫管理的TCO(Total Cost of Ownership)總體擁有成本投入。那麼,資料庫運維管理平臺應該提供或具備以下能力:

1、保障核心業務系統做到全方位、精準化的運維管理。

核心方法以通過監控、告警、巡檢、運維知識庫集成等手段確保資料庫的高效穩定運行,避免靠人力監督的方式做運維。用戶角度是希望硬體資源利用率達到最大化,避免計算資源的浪費和長期空載,降本增效。

2、保障在資料庫架構管理識別上,實現一定的靈活性。

無論是並行大規模的集中交付,還是將已有業務接入運維管理平臺,都需要平臺根據用戶業務做靈活的適配和可定製化的統一管理。如MySQL資料庫生態中,無論是集中式的一主多從還是雙主複製、或中間件、MGR等,都能在監控大屏中全局總覽,並獨立訪問各架構的負載和拓撲狀態。即1中所提的全方位和精準把控。

3、在IaaS層資源支持上,提供快速標準化相容和適配。

如國產晶元、操作系統、存儲類型、平臺等。運維管理平臺能降低對硬體、操作系統版本、廠商的差異敏感度,提供流程化、標準化、規範化的統一檢查和配置。如硬體平臺識別、os依賴預檢和部署調度等。這樣一來,DBA們在國產化POC中就不用時刻攜帶U盤,考慮裝哪些檢測腳本、依賴包,怎麼做查驗和調參改配了。也是在用戶私有化交付環境中,管理平臺提高效率解決問題的一種具體體現。

4、雲管平臺不能包打天下,適合所有用戶。

雲廠商資料庫管理平臺的服務價值不可否認,給私有雲環境提供了很多思路,但雲管平臺不見得能包打天下,適合所有用戶。如:雲資料庫的性能問題,以及為解決性能問題而提供的付費優化服務。將業務SQL發現、分析、改造托管到平臺上,依靠平臺的性能分析服務來優化、解決性能問題,顯然不太樂觀。此外,僅是獨立功能付費選項就足以把人勸退,性價比不高。且雲平臺無法滿足個性化定製需求,因雲平臺定位是面向雲環境,雲資料庫等,基本二次開發或定製的可能性不太大,且並非所有用戶業務都適合遷移上雲。

因此,一款適用於私有雲或物理硬體環境的平臺,同時支持用戶業務定製,兼顧降本增效使命的資料庫管理平臺必不可少,比如GreatADM資料庫管理平臺,也許是一個不錯的選擇。

GreatADM是什麼,具備哪些能力?

GreatADM(GreatDB Administrator Platform,以下簡稱 GreatADM)是萬里資料庫自主研發的一款資料庫運維管理平臺。GreatADM提供穩定、高效、易用的管理平臺,支持萬里安全資料庫分散式和集中式的運維管理需求,以及MySQL生態產品。

GreatADM提供從安裝部署、運行管理,到資源擴縮,問題定位和性能分析等全鏈路的管理支持,極大地降低了標準化交付和運維管理的難度,有效支撐企業業務持續穩定運行,為企業發展真正做到增效、節能、降本。

圖片(GreatADM 架構圖)

GreatADM平臺能力

1、敏捷交付模式

在項目快速交付的需求場景下,從管理員角度出發,針對不同OS、不同架構的資料庫高可用方案,GreatADM可實現快速並行交付。它支持萬里安全資料庫分散式和集中式、金融三節點、 MGR、雙機高可用、傳統主從、雙主雙從和單實例的標準化批量部署。目前,GreatADM已相容國內多家操作系統,如拓林思、麒麟、龍蜥、歐拉、BClinux等系統。

2、集中納管模式

作為敏捷交付模式的補充,GreatADM從用戶角度出發,針對用戶原始分散業務提供集中化的平臺管理服務。支持用戶接入萬里安全資料庫分散式和集中式資料庫,以及用戶自建環境的MySQL,包括用戶傳統一主多從、雙主+keepalived、MGR等資料庫架構都能快速接入平臺,並提供軟體包分類管理、實例申請與銷毀、系統監控與告警、備份與恢復、性能優化等能力。

![圖片](data:image/svg+xml,%3C%3Fxml version='1.0' encoding='UTF-8'%3F%3E%3Csvg width='1px' height='1px' viewBox='0 0 1 1' version='1.1' xmlns='http://www.w3.org/2000/svg' xmlns:xlink='http://www.w3.org/1999/xlink'%3E%3Ctitle%3E%3C/title%3E%3Cg stroke='none' stroke-width='1' fill='none' fill-rule='evenodd' fill-opacity='0'%3E%3Cg transform='translate(-249.000000, -126.000000)' fill='%23FFFFFF'%3E%3Crect x='249' y='126' width='1' height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)

3、統一運維管理模式

GreatADM可為用戶提供包括資料庫的實例管理、節點擴縮容、實例運行分析、監控告警、安全審計、SQL開發、備份恢復和運行趨勢預判等服務,旨在降低DBA一對多的資料庫運維管理工作量,有效覆蓋絕大多數運維需求場景,釋放DBA日常運維工作壓力,解決運維過程中重覆性操作、定位故障難度大、診斷嚴重依賴人力和經驗判斷等問題,提升運維效率。

GreatADM 支持的拓撲結構預覽:

![圖片](data:image/svg+xml,%3C%3Fxml version='1.0' encoding='UTF-8'%3F%3E%3Csvg width='1px' height='1px' viewBox='0 0 1 1' version='1.1' xmlns='http://www.w3.org/2000/svg' xmlns:xlink='http://www.w3.org/1999/xlink'%3E%3Ctitle%3E%3C/title%3E%3Cg stroke='none' stroke-width='1' fill='none' fill-rule='evenodd' fill-opacity='0'%3E%3Cg transform='translate(-249.000000, -126.000000)' fill='%23FFFFFF'%3E%3Crect x='249' y='126' width='1' height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)(GreatDBRouter高可用方案拓撲架構)

![圖片](data:image/svg+xml,%3C%3Fxml version='1.0' encoding='UTF-8'%3F%3E%3Csvg width='1px' height='1px' viewBox='0 0 1 1' version='1.1' xmlns='http://www.w3.org/2000/svg' xmlns:xlink='http://www.w3.org/1999/xlink'%3E%3Ctitle%3E%3C/title%3E%3Cg stroke='none' stroke-width='1' fill='none' fill-rule='evenodd' fill-opacity='0'%3E%3Cg transform='translate(-249.000000, -126.000000)' fill='%23FFFFFF'%3E%3Crect x='249' y='126' width='1' height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)(GreatADM 管理MGR組複製拓撲)

![圖片](data:image/svg+xml,%3C%3Fxml version='1.0' encoding='UTF-8'%3F%3E%3Csvg width='1px' height='1px' viewBox='0 0 1 1' version='1.1' xmlns='http://www.w3.org/2000/svg' xmlns:xlink='http://www.w3.org/1999/xlink'%3E%3Ctitle%3E%3C/title%3E%3Cg stroke='none' stroke-width='1' fill='none' fill-rule='evenodd' fill-opacity='0'%3E%3Cg transform='translate(-249.000000, -126.000000)' fill='%23FFFFFF'%3E%3Crect x='249' y='126' width='1' height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)(MySQL傳統主從複製拓撲)

![圖片](data:image/svg+xml,%3C%3Fxml version='1.0' encoding='UTF-8'%3F%3E%3Csvg width='1px' height='1px' viewBox='0 0 1 1' version='1.1' xmlns='http://www.w3.org/2000/svg' xmlns:xlink='http://www.w3.org/1999/xlink'%3E%3Ctitle%3E%3C/title%3E%3Cg stroke='none' stroke-width='1' fill='none' fill-rule='evenodd' fill-opacity='0'%3E%3Cg transform='translate(-249.000000, -126.000000)' fill='%23FFFFFF'%3E%3Crect x='249' y='126' width='1' height='1'%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)(GreatADM 用戶定製拓撲)

從自身需求出發,做一款簡單、易用、功能強大的資料庫運維管理平臺,降低資料庫管理門檻,釋放DBA壓力。

  • GreatADM 一鍵安裝
  • GreatADM一鍵升級
  • GreatADM一鍵高可用部署
  • GreatADM一鍵調整資源用量

僅僅需要

安裝:./adm_install.sh   install  
卸載:./adm_install.sh  uninstall
升級更新:./adm_install.sh  upgrade

GreatADM產品優勢

1、GreatADM可做到對底層IaaS層的軟硬體、操作系統、雲廠商環境、晶元存儲等最小差異化或無差異的識別部署,降低基礎環境的敏感度和國產化項目交付中相容適配的難題,減輕DBA運維壓力;

2、GreatADM自身簡單、易用、容器化的部署,輕量且無外部依賴,支持萬里安全資料庫分散式、集中式等多種資料庫方案的同時,還兼顧用戶MySQL現有業務的統管,解決項目新舊更替業務遺留實例無法管理的情況;

3、GreatADM支持高可用容災部署和平臺橫向性能擴展,實際管理的資料庫節點能力在數百到數千節點量級。且支持物理主機的復用部署及主機資源池化分配,在最大程度上發揮主機性能,降低客戶硬體成本。


受限於篇幅原因,後續我們將分享GreatADM資料庫管理平臺產品的系列文章,詳細闡述GreatADM的產品能力,也為計劃在今年發佈的GreatADM社區開源版預熱。

如果您還在猶豫該選擇哪款資料庫管理平臺,不妨試試GreatADM。預先申請試用登記,請完成下方問卷提交試用申請以及填寫需求反饋和建議等,屆時我們將優先邀請部分用戶參與測試體驗。
https://www.greatdb.com/Home/mfsy/mfsy.html

下期我們將具體介紹GreatADM資料庫管理平臺的安裝部署,以及如何快速部署MySQL MGR,謝謝!

Enjoy GreatSQL

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 操作系統: RHEL7.x 或CentOS 7.x 最小化安裝 配置好固定的IP,能訪問互聯網 配置好yum源(yum repolist 可以查看yum源) 本地光碟 掛載光碟,開機自動掛載 vim + /etc/fstable /dev/sr0 /mnt iso9660 defaults 0 0 ...
  • 一:存儲架構 根據存儲設備所在的位置分類 1、DAS DAS:(Direct-Attached Storage)直連式存儲。伺服器使用專用線纜(例如SCSI)和存儲設備(例如磁碟陣列)進行直連。 特點: 優點是儲設備只能連接到一臺主機使用,無法共用,成本較高,且安全性可靠性較低 缺點是容量有限,不適 ...
  • 一、線程簡介 線程是參與系統調度的最小單位。它被包含在進程之中,是進程中的實際運行單位。 一個進程中可以創建多個線程,多個線程實現併發運行,每個線程執行不同的任務。 每個線程都有其對應的標識,稱為線程 ID,線程 ID 使用 pthread_t 數據類型來表示。 二、線程的創建 線程是輕量級的併發執 ...
  • MySQL基礎:事務 事務簡介 事務是一組操作的集合,它是一個不可分割的工作單位,事務會把所有的操作作為一個整體一起向系統提交或撤銷操作請求,即這些操作要麼同時成功,要麼同時失敗。 預設MySQL的事務是自動提交的,也就是說,當執行一條DML(數據操作語言:對資料庫進行增刪改操作)語句,MySQL會 ...
  • GreatSQL社區原創內容未經授權不得隨意使用,轉載請聯繫小編並註明來源。 GreatSQL是MySQL的國產分支版本,使用上與MySQL一致。 作者: 蟹黃瓜子 文章來源:GreatSQL社區投稿 Docker是一個開源的應用容器引擎,讓開發者可以打包他們的應用以及依賴包到一個可抑制的容器中,然 ...
  • 摘要:本文主要講解數倉運維中遇到單SQL磁碟空間管控問題的解析和方案。 本文分享自華為雲社區《GaussDB(DWS)運維 -- 單SQL磁碟空間管控》,作者: 譡里個檔。 【問題描述】 執行部分SQL語句時出現如下報錯信息(具體數值可能因為配置有差異),本文針對根因和場景觸發場景,確定觸發此類問題 ...
  • GreatSQL社區原創內容未經授權不得隨意使用,轉載請聯繫小編並註明來源。 GreatSQL是MySQL的國產分支版本,使用上與MySQL一致。 作者: 王權富貴 文章來源:GreatSQL社區原創 背景 在一次日常測試中發現,kill 一個會話後,SQL語句依然在運行並沒終止;被kill的會話重 ...
  • 作者:京東科技 杜曉玉 前言 資料庫,交易系統中最核心依賴,數據持久化屬於最核心服務。 隨著互聯網的普及,大流量高併發的場景越來越多,7*24的交易系統對高可用要求越來越高,同時在“數據為王”大環境下,交易數據最終通過資料庫進行持久化存儲,資料庫成為整個系統最終重要服務,不能出一點問題,尤其核心P0 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...