開源資料庫Greenplu突然閉源?GaussDB(DWS)提供數倉新可能

来源:https://www.cnblogs.com/huaweiyun/p/18289386
-Advertisement-
Play Games

GaussDB(DWS)成功將Greenplum上數萬個數據模型、數萬個代碼腳本、數百萬行代碼全部遷移至安全可控的數據倉庫平臺。 ...


本文分享自華為雲社區《開源資料庫Greenplum人去樓空?GaussDB(DWS)提供數倉新可能》,作者: 起個名字11111。

近日Greenplum關閉 GitHub 源碼事件在數倉行業廣受關註,代碼業界紛紛猜測Greenplum即將閉源。作為一款典型的OLAP資料庫,Greenplum的閉源勢必帶來數倉市場格局的調整與變化。國內有哪些備受矚目的數倉產品呢?華為雲數倉GaussDB(DWS)無疑是其中的佼佼者。

GaussDB(DWS)是一款相容PostgreSQL生態,同時GaussDB(DWS)具備豐富的GP遷移成功經驗。在某一遷移GP的成功案例中,面臨客戶原平臺擴展性不足、數據加工鏈路長、數據分散等痛點問題,GaussDB(DWS)成功將Greenplum上數萬個數據模型、數萬個代碼腳本、數百萬行代碼全部遷移至安全可控的數據倉庫平臺,基於GaussDB(DWS)的數據分析平臺成功降低系統管理成本、技術複雜度,提升了資源配置效率、數據一致性,承載30000多個數據模型。

DWS絲滑相容GP

GaussDB(DWS) 提供了配套的遷移工具,可支持TeraData、Oracle、MySQL、SQL Server、PostgreSQL、Greenplum、Impala等常用數據分析系統的平滑遷移。支持SQL 2003標準,相容Oracle的部分語法和數據結構,支持存儲過程,可與常用BI(business intelligence)工具無縫對接,業務遷移修改量極小。

1.語法相容性

(1)Greenplum和DWS均支持SQL 2003,相容大部分DDL與DML語法。

(2)相容GP所有數據類型。

(3)相容GP所有操作符。

(4)相容GP包括XML函數、JSON函數、視窗函數、聚集函數在內所有的複雜函數。

(5)支持自定義函數和PROCEDURE。

(6)支持Sort所有場景,包含FullSort/TopNSort。

(7)支持Agg/Join/Sort落盤功能。

(8)支持HashJoin/NestLoopJoin,完整支持Left/Right/Full/Inner/Anti/Semi六種Join規則。

(9)支持 GroupAgg/HashAgg/PlainAgg,及Agg所有相關特性。

(10)支持 HeapTable、Aocs Table的Scan,包含Seqscan和Index Scan。

2.生態相容性

(1)社區工具相容

數據集成:Talend、Kettle、DataX、DBT、Informatica等。

數據開發:Navicat、DBeaver、DbVisualizer等。

作業調度:Dataphin、Airflow等。

BI分析:QuickBI、永洪BI、FineBI、PowerBI、Tableau、Cognos、SmartBI等。

(2)華為工具相容:

數據集成:CDM、DRS、Migration等

數據開發:SQL Editor、DataArts Studio、DAS

BI分析:DataArts Insight

DWS產品優勢

1.易使用

(1) 一站式可視化便捷管理

GaussDB(DWS) 讓您能夠輕鬆完成從項目概念到生產部署的整個過程。通過使用GaussDB(DWS) 管理控制台,您不需要安裝數據倉庫軟體,也不需要部署數據倉庫伺服器,就可以在幾分鐘之內獲得高性能、高可靠的企業級數據倉庫集群。

您只需單擊幾下滑鼠,就可以輕鬆完成應用程式與數據倉庫的連接、數據備份、數據恢復、數據倉庫資源和性能監控等運維管理工作。

(2) 與大數據無縫集成

您可以使用標準SQL查詢HDFS、對象存儲服務(Object Storage Service,OBS)上的數據,數據無需搬遷。

(3) 提供一鍵式異構資料庫遷移工具

GaussDB(DWS) 提供配套的遷移工具,可支持MySQL、Oracle和Teradata的SQL腳本遷移到GaussDB(DWS) 。

2.高性能

(1) 雲化分散式架構

GaussDB(DWS) 採用全並行的MPP架構資料庫,業務數據被分散存儲在多個節點上,數據分析任務被推送到數據所在位置就近執行,並行地完成大規模的數據處理工作,實現對數據處理的快速響應。

(2) 查詢高性能,萬億數據秒級響應

GaussDB(DWS) 通過運算元並行執行、向量化執行引擎實現指令在寄存器並行執行,以及LLVM動態編譯減少查詢時冗餘的條件邏輯判斷,助力數據查詢性能提升。

GaussDB(DWS)支持行列混合存儲,可以同時為用戶提供更優的數據壓縮比(列存)、更好的索引性能(列存)、更好的點更新和點查詢(行存)性能。

(3) 數據載入快

GaussDB(DWS)提供了GDS極速並行大規模數據載入工具。

3.易擴展

(1) 按需擴展:Shared-Nothing開放架構,可隨時根據業務情況增加節點,擴展系統的數據存儲能力和查詢分析性能。

(2) 擴容後性能線性提升:容量和性能隨集群規模線性提升,線性比0.8。

(3) 擴容不中斷業務:擴容過程中支持數據增、刪、改、查,及DDL操作(Drop/Truncate/Alter table),表級別線上擴容技術,擴容期間業務不中斷、無感知。

支持線上升級:8.1.1及以上源版本支持大版本線上升級,8.1.3及以上源版本支持補丁線上升級,升級期間用戶無需停止業務,業務存在閃級秒斷。

4.高可靠

(1) ACID

支持分散式事務ACID(Atomicity,Consistency,Isolation,Durability),數據強一致保證。

(2) 全方位HA設計

GaussDB(DWS) 所有的軟體進程均有主備保證,集群的協調節點(CN)、數據節點(DN)等邏輯組件全部有主備保證,能夠保證在任意單點物理故障的情況下系統依然能夠保證數據可靠、一致,同時還能對外提供服務。

(3) 安全

GaussDB(DWS) 支持數據透明加密,同時可與資料庫安全服務(DBSS)對接,基於網路隔離及安全組規則,保護系統和用戶隱私及數據安全。GaussDB(DWS)還支持自動數據全量、增量備份,提升數據可靠性。

5.低成本

按需付費:GaussDB(DWS) 按實際使用量和使用時長計費。您需要支付的費率很低,只需為實際消耗的資源付費。

門檻低:您無需前期投入較多固定成本,可以從低規格的數據倉庫實例起步,後續隨時根據業務情況彈性伸縮所需資源,按需開支。

結語:

華為雲數據倉庫GaussDB(DWS),歷經13年的技術磨礪,已成為國內數據倉庫中的佼佼者,是中國唯一獲得數倉類CC安全認證的產品。華為雲GaussDB(DWS)一站式全場景雲數據倉庫,提供PB級數據分析能力、多模分析和實時處理能力,以統一內核提供公有雲、混合雲等部署形態,用戶體驗一致。在金融、泛政府、電信、能源、交通、醫療、物流、電商等領域,幫助1700+大客戶規模商用。

未來,GaussDB(DWS)將繼續深耕雲原生Serverless化、實時分析、湖倉一體、數智融合、HTAP等數倉核心技術,引領數據產業,創新構建開放融合、雲化、實時、全場景、智慧的數據底座。

 

點擊關註,第一時間瞭解華為雲新鮮技術~

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • IP重組 ip重組這部分 4.19內核與3.10內核有些差別,4.9.134以後內核中不使用低水位和工作隊列了,同時使用了rhashtable 替代了 hash bucket的概念,在3.10內核中使用1024個hash bucket, 每個bucket中最多存放128個分片隊列,在4.19內核中所 ...
  • 本文介紹瞭如何使用GDB調試工具、如何將GDB移植到linu開發板上、如何在交叉編譯時使用GDB,,如何設置LVGL FreeType中文字型檔. ...
  • 今天發現/usr目錄空間不夠。需要擴展。之前沒有處理過。今天試了一下調整。並且記錄下來整個過程。 1 使用fdisk -l 查看磁碟信息 2、使用fdisk /dev/sda 對磁碟進行分區 操作完後,多了一個/dev/sda3 4 使用 pvcreate /dev/sda3創建物理捲 5、使用vg ...
  • 測試環境中,新搭建的Oracle 19c DG,在主備切換後,新的主庫的告警日誌中一直出現類似下麵這樣的錯誤: .........................................2024-07-08T13:40:55.384302+08:00 rfs (PID:146054): Da ...
  • redis筆記 1. Redis是什麼? Redis( Remote Dictionary Server )是一個使用 C 語言編寫的,高性能非關係型的鍵值對資料庫。 與傳統資料庫不同的是,Redis 的數據是存在記憶體中的,所以讀寫速度非常快,被廣泛應用於緩存方 向。Redis可以將數據寫入磁碟中, ...
  • 各位熱愛Apache DolphinScheduler的小伙伴們,社區6月月報更新啦!這裡將記錄Apache DolphinScheduler社區每月的重要更新,歡迎關註。 月度Merge Stars 感謝以下小伙伴上個月為Apache DolphinScheduler所做的精彩貢獻(排名不分先後) ...
  • 各位熱愛Apache SeaTunnel的小伙伴們,社區6月份月報來啦!這裡將記錄Apache SeaTunnel社區每月的重要更新,歡迎關註。 月度Merge Stars 感謝以下小伙伴上個月為Apache SeaTunnel所做的精彩貢獻(排名不分先後): @baicie,@TaoZex,@lo ...
  • 設想我們在一家很大的互聯網公司做IT方面的規劃、開發和維護,有以下這樣的應用場景: 公司里有若幹個不同的開發團隊,開發語言有Java、.net、Python、C++....十來種,還有很多外包團隊對項目進行開發,大中小系統已經多的數不過來;並且各個團隊、系統間都需要進行海量數據的交換(比如搜索引擎實 ...
一周排行
    -Advertisement-
    Play Games
  • 通過WPF的按鈕、文本輸入框實現了一個簡單的SpinBox數字輸入用戶組件並可以通過數據綁定數值和步長。本文中介紹了通過Xaml代碼實現自定義組件的佈局,依賴屬性的定義和使用等知識點。 ...
  • 以前,我看到一個朋友在對一個系統做初始化的時候,通過一組魔幻般的按鍵,調出來一個隱藏的系統設置界面,這個界面在常規的菜單或者工具欄是看不到的,因為它是一個後臺設置的關鍵界面,不公開,同時避免常規用戶的誤操作,它是作為一個超級管理員的入口功能,這個是很不錯的思路。其實Winform做這樣的處理也是很容... ...
  • 一:背景 1. 講故事 前些天有位朋友找到我,說他的程式每次關閉時就會自動崩潰,一直找不到原因讓我幫忙看一下怎麼回事,這位朋友應該是第二次找我了,分析了下 dump 還是挺經典的,拿出來給大家分享一下吧。 二:WinDbg 分析 1. 為什麼會崩潰 找崩潰原因比較簡單,用 !analyze -v 命 ...
  • 在一些報表模塊中,需要我們根據用戶操作的名稱,來動態根據人員姓名,更新報表的簽名圖片,也就是電子手寫簽名效果,本篇隨筆介紹一下使用FastReport報表動態更新人員簽名圖片。 ...
  • 最新內容優先發佈於個人博客:小虎技術分享站,隨後逐步搬運到博客園。 創作不易,如果覺得有用請在Github上為博主點亮一顆小星星吧! 博主開始學習編程於11年前,年少時還只會使用cin 和cout ,給單片機點點燈。那時候,類似async/await 和future/promise 模型的認知還不是 ...
  • 之前在阿裡雲ECS 99元/年的活動實例上搭建了一個測試用的MINIO服務,以前都是直接當基礎設施來使用的,這次準備自己學一下S3相容API相關的對象存儲開發,因此有了這個小工具。目前僅包含上傳功能,後續計劃開發一個類似圖床的對象存儲應用。 ...
  • 目錄簡介快速入門安裝 NuGet 包實體類User資料庫類DbFactory增刪改查InsertSelectUpdateDelete總結 簡介 NPoco 是 PetaPoco 的一個分支,具有一些額外的功能,截至現在 github 星數 839。NPoco 中文資料沒多少,我是被博客園群友推薦的, ...
  • 前言 前面使用 Admin.Core 的代碼生成器生成了通用代碼生成器的基礎模塊 分組,模板,項目,項目模型,項目欄位的基礎功能,本篇繼續完善,實現最核心的模板生成功能,並提供生成預覽及代碼文件壓縮下載 準備 首先清楚幾個模塊的關係,如何使用,簡單畫一個流程圖 前面完成了基礎的模板組,模板管理,項目 ...
  • 假設需要實現一個圖標和文本結合的按鈕 ,普通做法是 直接重寫該按鈕的模板; 如果想作為通用的呢? 兩種做法: 附加屬性 自定義控制項 推薦使用附加屬性的形式 第一種:附加屬性 創建Button的附加屬性 ButtonExtensions 1 public static class ButtonExte ...
  • 在C#中,委托是一種引用類型的數據類型,允許我們封裝方法的引用。通過使用委托,我們可以將方法作為參數傳遞給其他方法,或者將多個方法組合在一起,從而實現更靈活的編程模式。委托類似於函數指針,但提供了類型安全和垃圾回收等現代語言特性。 基本概念 定義委托 定義委托需要指定它所代表的方法的原型,包括返回類 ...