實時開發平臺建設實踐,深入釋放實時數據價值丨04期直播回顧

来源:https://www.cnblogs.com/DTinsight/archive/2022/06/15/16377849.html
-Advertisement-
Play Games

原文鏈接:實時開發平臺建設實踐,深入釋放實時數據價值 視頻回顧:點擊這裡 課件獲取:點擊這裡 一、實時數倉建設背景 隨著整體行業的數字化轉型不斷深入以及技術能力的不斷提高,傳統的 T+1 式(隔日)的離線大數據模式越來越無法滿足新興業務的發展需求,開展實時化的大數據業務,是企業深入挖掘數據價值的一條 ...


原文鏈接:實時開發平臺建設實踐,深入釋放實時數據價值

視頻回顧:點擊這裡

課件獲取:點擊這裡

一、實時數倉建設背景

隨著整體行業的數字化轉型不斷深入以及技術能力的不斷提高,傳統的 T+1 式(隔日)的離線大數據模式越來越無法滿足新興業務的發展需求,開展實時化的大數據業務,是企業深入挖掘數據價值的一條必經之路。

面對數字化轉型下的數據快速產生、“小步快跑”的精細化運營及實時化和自動化的決策需求,如何提高實時數據處理能力將成為企業提升競爭力的一大因素。

file

而企業在建設實時數據應用時,又往往面臨諸多困難:

  • 實時開發技術門檻高,學習難度大,開發過程依賴各種引擎,鏈路複雜

  • 開發數據效率低,代碼調試複雜

  • 建設成本、使用成本高

  • 數據建模及開發規範不統一,問題難監控,管理困難

file

為瞭解決這些問題,我們在實時建設過程中需要確定建設方式和建設目標,幫助企業更好的實現實時數倉建設。

file

二、實時數倉建設方法論

如何幫助企業建設實時數倉,我們主要從以下四個步驟入手:

file

1、明確需求

企業進行實時數倉建設的第一步是明確需求,需求需要業務需求和技術需求想結合。

1)業務需求方面:

  • 詳細梳理各類實時計算應用場景

  • 詳細梳理每個實時指標的具體需求

2)技術需求方面:

  • 詳細梳理每個實時指標的數據來源信息

file

2、技術選型

第二步技術選型階段,技術選型包括四個方面的選型:

a、整體技術路線

b、採集工具

c、消息中間件+計算引擎及

d、維表、結果表的存儲資料庫

file

3、數倉設計與開發

第三步是數倉設計與開發,包含一下三個方面:

a、實時數倉分層設計

b、開發規範

c、代碼開發與調試

file

4、管理與監控

第四步是管理與監控,可以從任務發佈、運行監控與告警、實時數據治理這3個部分入手。

file

三、基於數棧實時開發平臺建設實時數倉

分享完實時數倉的建設方法論,接下來來為大家分享實時數倉的建設流程。

file

第一步:實時採集

基於Chunjun(原FlinkX)對資料庫進行CDC採集,實現採集工具化,可對主流數據源進行CDC(日誌數據)和通過JDBC(間隔輪詢)兩種實時採集方式。

1、CDC讀取

讀取資料庫日誌的方式,對源庫無壓力

2、JDBC讀取

面向不開放資料庫日誌的場景,通過高頻率的JDBC輪詢讀取數據,要求有自增欄位

file

第二步:數據開發

1、數據開發基礎功能

現在展示的是數據開發的一些基礎功能,包括:WEB SQL IDE、可視化建表、維表緩存策略及系統&自定義函數,豐富的底層組件封裝,界面化操作,降低開發門檻,使開發人員專註於業務邏輯處理。

file

2、數據開發高階功能

除了數據開發的基礎功能之外,還有面向特定行業或場景的高階配置,包括自動重試、自動啟停、臟數據管理。

file

第三步:發佈上線

開發完畢之後就是任務的發佈上線,發佈上線包括任務調試和任務導入導出兩個方面。

file

第四步:任務運維

任務運維就是全局掌控任務的運行,對於一些異常或緊急情況進行處理的過程。

file

上述的實時數倉建設過程,其實正是袋鼠雲自研的數棧實時開發StreamWorks產品的落地實踐過程。

雲原生一站式大數實時開發平臺(StreamWorks),面向實時數倉構建的雲原生一站式大數據實時開發平臺,實現從實時數據採集、實時數據處理、任務監控運維的全鏈路覆蓋。支持Flink多版本引擎、Kubernetes資源調度,提供豐富的運維監控曲線,助力企業實時化轉型。
圖片

同時產品具備以下特點:

  • 採集+計算+運維一體化

內含實時開發全鏈路工具,採集、計算、運維一體,降低客戶使用成本,降低實時計算門檻。

  • 統一元數據管理

支持輸出自研Hadoop集群,同時可對接CDH、HDP、TDH等多集群及Oracle、TiDB等多引擎;節點資源可根據計算存儲需求快速彈性伸縮,業務需求穩定響應。

  • 批流一體

支持Flink批流一體式採集+開發, 集成Iceberg,賦能一體式湖倉建設模式。

  • 功能豐富

平臺提供任務跨環境發佈、代碼調試、SQL校驗、提交檢查、自動啟停、批量連接現存任務等豐富功能

  • 雲原生支持

在支持YARN+HDFS的基礎上,同時支持Kubernetes資源調度、MinIO、OSS等對象存儲

同時產品具備3大價值:

  • 降低開發門檻

相容了多版本引擎、適配多種數據源,封裝集成為可視化操作界面。基於Web IDE,圖像化配置表信息並使用SQL語言進行開發,降低整體上手門檻

  • 全面運維保障

提供任務全生命周期的可視化運維。全鏈路拓撲、豐富Metirc曲線展示、多方式多渠道任務告警,幫助用戶搭建全面運維體系,提高運維保障。

  • 促進數據規範

協助企業構建實時數倉,建設實時數據標準及規範。搭建一套實時任務調度、任務運行監控及實時任務可靠恢復機制於一體的實時數據平臺,保障數據質量,提供統一標準的數據出口。

四、實時數倉建設案例

接下來我們分享兩個使用客戶的實際案例,為大家介紹實時開發平臺如何切實的幫助客戶解決問題。

  • 某國有專業經濟信息服務機構

file

  • 某證券客戶

file

五、數棧批流一體架構解析

最後我們為大家介紹一段拓展資料,關於數棧批流一體架構的解析。

  • 批流一體整體架構

file

  • 批流一體核心價值

file

  • 批流一體數據建設鏈路

file

  • 批流一體採集技術架構

file

原文來源:VX公眾號“數棧研習社”

袋鼠雲開源框架釘釘技術交流群(30537511),歡迎對大數據開源項目有興趣的同學加入交流最新技術信息,開源項目庫地址:https://github.com/DTStack


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 為什麼要使用Svelte Svelte 是一種全新的構建用戶界面的方法。傳統框架(如 React 和 Vue)在瀏覽器中完成大部分工作,而 Svelte 將這些工作轉移到構建應用程式時發生的編譯步驟。 Svelte 沒有使用虛擬 DOM diffing 之類的技術,而是編寫了在應用程式狀態發生變化時 ...
  • 一 、通過雲開發平臺快速創建初始化應用 1.創建相關應用模版請參考鏈接:去中心化的前端構建工具 — Vite 2.完成創建後就可以在github中查看到新增的Vite倉庫 二 、 本地編寫 Vite後臺項目最佳起始點 1.將應用模版克隆到本地 首先假定你已經安裝了Git、node,沒有安裝請移步no ...
  • 目錄 一、前景回顧 二、A20地址線 三、全局描述符表 四、CR0寄存器的PE位 五、邁入保護模式 六、測試 一、前景回顧 上回我們說到,保護模式下有著三大特點:地址映射、特權級和分時機制。本來接下來是要向這三點一一發起進攻,不過我們首先需要先邁入保護模式中,不然在實模式下講解保護模式顯得不倫不類。 ...
  • 本文介紹什麼是 SQL 視窗函數,視窗函數可以進行排序、生成序列號等一般的 聚合函數 無法實現的高級操作。 本文重點 視窗函數可以進行排序、生成序列號等一般的聚合函數無法實現的高級操作。 理解 PARTITION BY 和 ORDER BY 這兩個關鍵字的含義十分重要。 一、什麼是視窗函數 視窗函數 ...
  • 1 MySQL安裝 安裝環境:Win10 64位 軟體版本:MySQL 5.7.24 解壓版 1.1 下載 https://downloads.mysql.com/archives/community/ 點開上面的鏈接就能看到如下界面: 選擇選擇和自己系統位數相對應的版本點擊右邊的Download, ...
  • 緩存穿透,緩存雪崩,緩存擊穿 本文整理自黑馬程式員相關資料 緩存穿透 緩存穿透是指客戶端請求的數據在緩存中和資料庫中都部存在,這樣緩存永遠不會生效。因此這些請求都會穿過緩存,最終請求到資料庫上,對資料庫造成非常大的壓力。 常見的解決方案有兩種: 緩存空對象:當緩存和資料庫都沒有請求的數據時,將查詢的 ...
  • 本文介紹 SQL 如何使用內聯結(INNER JOIN)、外聯結(OUTER JOIN)和交叉聯結(CROSS JOIN)。簡單來說,就是將其他表中的列添加過來,進行“添加列”的運算。 本文重點 聯結(JOIN)就是將其他表中的列添加過來,進行“添加列”的集合運算。UNION 是以行(縱向)為單位進 ...
  • 導讀: 本文主要介紹嗶哩嗶哩在數據湖與數據倉庫一體架構下,探索查詢加速以及索引增強的一些實踐。主要內容包括: 什麼是湖倉一體架構 嗶哩嗶哩目前的湖倉一體架構 湖倉一體架構下,數據的排序組織優化 湖倉一體架構下,索引增強與優化的實踐探索 -- 01 什麼是湖倉一體 當我們講湖倉一體時,涉及到數據湖和數 ...
一周排行
    -Advertisement-
    Play Games
  • Timer是什麼 Timer 是一種用於創建定期粒度行為的機制。 與標準的 .NET System.Threading.Timer 類相似,Orleans 的 Timer 允許在一段時間後執行特定的操作,或者在特定的時間間隔內重覆執行操作。 它在分散式系統中具有重要作用,特別是在處理需要周期性執行的 ...
  • 前言 相信很多做WPF開發的小伙伴都遇到過表格類的需求,雖然現有的Grid控制項也能實現,但是使用起來的體驗感並不好,比如要實現一個Excel中的表格效果,估計你能想到的第一個方法就是套Border控制項,用這種方法你需要控制每個Border的邊框,並且在一堆Bordr中找到Grid.Row,Grid. ...
  • .NET C#程式啟動閃退,目錄導致的問題 這是第2次踩這個坑了,很小的編程細節,容易忽略,所以寫個博客,分享給大家。 1.第一次坑:是windows 系統把程式運行成服務,找不到配置文件,原因是以服務運行它的工作目錄是在C:\Windows\System32 2.本次坑:WPF桌面程式通過註冊表設 ...
  • 在分散式系統中,數據的持久化是至關重要的一環。 Orleans 7 引入了強大的持久化功能,使得在分散式環境下管理數據變得更加輕鬆和可靠。 本文將介紹什麼是 Orleans 7 的持久化,如何設置它以及相應的代碼示例。 什麼是 Orleans 7 的持久化? Orleans 7 的持久化是指將 Or ...
  • 前言 .NET Feature Management 是一個用於管理應用程式功能的庫,它可以幫助開發人員在應用程式中輕鬆地添加、移除和管理功能。使用 Feature Management,開發人員可以根據不同用戶、環境或其他條件來動態地控制應用程式中的功能。這使得開發人員可以更靈活地管理應用程式的功 ...
  • 在 WPF 應用程式中,拖放操作是實現用戶交互的重要組成部分。通過拖放操作,用戶可以輕鬆地將數據從一個位置移動到另一個位置,或者將控制項從一個容器移動到另一個容器。然而,WPF 中預設的拖放操作可能並不是那麼好用。為瞭解決這個問題,我們可以自定義一個 Panel 來實現更簡單的拖拽操作。 自定義 Pa ...
  • 在實際使用中,由於涉及到不同編程語言之間互相調用,導致C++ 中的OpenCV與C#中的OpenCvSharp 圖像數據在不同編程語言之間難以有效傳遞。在本文中我們將結合OpenCvSharp源碼實現原理,探究兩種數據之間的通信方式。 ...
  • 一、前言 這是一篇搭建許可權管理系統的系列文章。 隨著網路的發展,信息安全對應任何企業來說都越發的重要,而本系列文章將和大家一起一步一步搭建一個全新的許可權管理系統。 說明:由於搭建一個全新的項目過於繁瑣,所有作者將挑選核心代碼和核心思路進行分享。 二、技術選擇 三、開始設計 1、自主搭建vue前端和. ...
  • Csharper中的表達式樹 這節課來瞭解一下表示式樹是什麼? 在C#中,表達式樹是一種數據結構,它可以表示一些代碼塊,如Lambda表達式或查詢表達式。表達式樹使你能夠查看和操作數據,就像你可以查看和操作代碼一樣。它們通常用於創建動態查詢和解析表達式。 一、認識表達式樹 為什麼要這樣說?它和委托有 ...
  • 在使用Django等框架來操作MySQL時,實際上底層還是通過Python來操作的,首先需要安裝一個驅動程式,在Python3中,驅動程式有多種選擇,比如有pymysql以及mysqlclient等。使用pip命令安裝mysqlclient失敗應如何解決? 安裝的python版本說明 機器同時安裝了 ...