Tapdata 的 2.0 版 ,開源的 Live Data Platform 現已發佈

来源:https://www.cnblogs.com/tapdata/archive/2022/07/07/16456411.html
-Advertisement-
Play Games

Tapdata Live Data Platform 發佈會演講精華總結+直播回放!閱讀文章詳情,獲取首批體驗官專屬權益!時代為何需要一個全新的實時數據架構?Tapdata 技術架構有何優勢和特性?Tapdata 的開源路線圖又是怎樣? ...


https://www.bilibili.com/video/BV1tT411g7PA/?aid=470724972&cid=766317673&page=1

點擊上方鏈接,一分鐘快速瞭解 Tapdata

6月29日,Tapdata 產品發佈暨開源說明會線上開幕,圍繞「Your Last ETL」這一主題,緊扣「實時數據」這一詞眼,正式官宣自帶 ETL 的實時數據平臺 Tapdata Live Data Platform 上線,以及 Tapdata 核心功能的開源計劃等重磅消息。

發佈會現場,Tapdata 核心團隊成員與多位數據行業專家、數據生態先行者、開源數據產品代表、企業客戶代表及投資機構代表齊聚,著眼於“流動的”、“新鮮的”數據,結合歷史解決方案與實踐案例,站在生產、消費與資本等不同視角,共同探討實時數據應用場景及技術變遷,深度剖析新一代實時數據平臺的技術架構,深入洞察數據行業的發展現狀與前沿優勢,帶來持續的乾貨內容和密集的精彩觀點分享,高能不斷,下麵帶您回顧本次活動亮點。△ 點擊觀看完整視頻回放

一、時代為何需要一個全新的實時數據架構?

離線分析場景的數據訴求是已經發生了的過去,而實時業務場景的數據需求是明確的未來。而場景差異已然足夠孕育一個新的技術架構。

不斷增長的數據孤島和歷史方案的局限性

9544e785ba834a6aa0d63cdb0ff4140e.png
數據孤島的形成背景

在過去數十年間,企業搭建了非常多的業務系統,且數量仍在不斷擴張。而隨著數據架構日益低代碼化和平臺化,企業又可以以更低的成本創建更多新的業務系統。企業的數據和系統由此也越來越多,這就直接導致數據孤島問題的產生。由於系統間彼此並不連通,取用數據的過程就變得複雜,在真正用上數據之前,還需要做很多“額外”的工作,包括數據的打通、集成、融合等等。

12.png

從歷史信息系統到新的業務系統,企業數據集成的常見模式

企業數據集成的常見模式包括傳統的 API、ETL,早期的 ESB,以及今天的主流 Kafka,在多種既有方案的影響下,企業內部產生了大量各種各樣的數據集成鏈路。這些方案在滿足了一部分技術需求的同時,也不可避免地在數據時代的演進中暴露出局限性。
13.png
歷史數據集成解決方案及其局限性

其中,API 集成成本相對較低,只要具備一定的代碼能力,無需第三方工具,即可由研發團隊按照數據共用需求對系統進行 API 封裝,為下游新業務供數。但直接在源庫上構建 API 對性能的影響也比較大,且 API 通常會有 Rate Limit,難以支撐海量數據讀寫。此外,API 基本上只能對單庫發佈數據,難以跨庫操作。

ETL 也是過去很長一段時間里的主推方案,這種方式的優勢在於,不需要寫太多 Java 代碼或服務代碼,而是通過工具或腳本的方式,來實現數據向下游系統的抽取複製。ETL 的局限性主要體現在不易管理上,因為太過簡單且無法復用,導致每個新起業務都需要不少數量的 ETL 鏈路,最終散落在企業各處。

缺乏統一管理的的下場,就是痛苦的義大利面式結構狀態。面對這一痛點,二十年前就出現了不錯的架構解決方案——用** ESB/MQ** 將數據都推到中央化的企業消息隊列、服務匯流排上,然後將企業各個需要共用數據的系統,通過 API 和 Service 的方式連接起來,省去了多個系統之間兩兩交互的重覆工作,降低了系統之間的對接成本。但整體成本仍較高,所以多用於商業化方案。而且開發複雜、系統耦合較高,性能又較低,很快就退熱成了“明日黃花”,被類似於 Kafka 這樣的分散式開源產品所取代。

大約十年前,Kafka 迅速流行起來,大量企業開始基於 Kafka 實現數據集成。但由於 Kafka 並非為此而生,最初只是一個分散式的日誌存儲,所以其架構設計特性更傾向於高併發、高性能、分散式。相較於數據集成要求的鏈路短、耗時短、延遲短,基於 Kafka 的 ETL 架構因節點較多,反而顯露出長鏈路、數據容易中斷、排查難等特性。如果想要實現,還需要做很多 Java 代碼開發,使用複雜度很高。

最近十年,各種中央化數據平臺打得火熱,特別是以 Hadoop 為主的大數據平臺,以及傳統數倉、新一代數倉等代表,這一類方案的表現是將企業內散落在各個數據孤島的數據集中化到一個平臺里,從而實現通過中央平臺統一獲取需要的數據。但由於其技術架構多基於 Hadoop,本質上還是一個以離線分析為核心場景的技術棧,多用於對歷史數據進行洞察、分析,數據不夠實時,無法支撐對實時數據要求較高的一些 TP 型業務場景。

在綜合考察了既有諸多解決方案背後的技術架構和局限性之後,Tapdata 開始思考用一種更好的方式來解決數據孤島問題的可能性——做最後一次 ETL,也是實時的 ETL,通過數據鏡像實現數據虛擬化,並對鏡像數據進行中央化存儲,經過一定的加工處理,形成一個可復用的數據 Copy 模型。然後在這個中央化平臺上,以各種服務化方式為下游業務提供最新鮮的需求數據,本質上即 DaaS 概念的實現。基於此,Tapdata 自研了一套完整的產品化方案:Tapdata Live Data Platform

Tapdata 選擇了完全自研

優秀的開源組件如此多的今天,Tapdata 為什麼不在這些優秀組建的基礎上搭建解決方案,而是設計一套新架構呢?

誠然,沿用開源組件這樣的模式的確可以在一定程度上解決一些問題,但並非最佳選擇。Tapdata 之所以選擇自研一套新的技術架構,除了想要讓產品變得小而輕、更好維護之外,還包含了自身的技術認知和追求。
14.png
離線分析場景 vs 實時業務場景
在真實的案例場景中,Tapdata 發現,實時業務場景(OLTP) 對數據的訴求與 傳統的離線分析(OLAP) 具有本質不同。實時業務場景下,數據訴求一般是秒級;數據本身參與核心業務流轉,每一條數據都與真實業務掛鉤,單位價值高,對數據準確性的要求是 100%;業務數據量較之離線分析場景小很多。

如何更好地適應實時業務場景特性,並同時滿足傳統離線分析場景需求?Tapdata 基於 DaaS 架構的Live Data Platform 或將會是當前時代的最優解。Tapdata Live Data Platform 的重點在於 Live,在於數據的流動和鮮活,而這個一體化實時數據服務平臺的技術架構,也是為了契合這個主題而設計的。

二、Tapdata Live Data Platform:首個基於 DaaS 架構的實時數據平臺

事實證明,DaaS 體現了當下一種非常自然且合理的服務化趨勢,即將數據抽象為服務,為下游的所有業務提供極易用的數據能力。Tapdata 的願景就是構建一個以實時數據為 DNA 的 DaaS 平臺,讓用戶無需關註底層技術,只需要關註業務邏輯和數據——像自來水一樣,打開水龍頭就能使用新鮮數據,就應該這樣簡單!

Tapdata 誕生於一個大家對 DaaS(Data as a Service)有瞭解但少有觸及其本質的時期。彼時,將 DaaS 作為基礎架構的數據產品可謂少之又少,但 Tapdata 認定了這個方向,並沿著這個方向不斷努力。歷時三年,精心打磨出首個基於 DaaS 架構的實時數據平臺——Live Data Platform(LDP)。

三年鋒芒初顯:從 DaaS 先行者到自帶 ETL 的實時數據平臺

從錨定實時數據賽道邁出 DaaS 第一步開始,歷時三年,Tapdata 目標中的數據服務化產品已初具規模。那麼我們到底可以在哪些場景下用 Tapdata LDP 來完成怎樣的工作?
15.png
一圖速覽我們可以用 Tapdata LDP 來做什麼?

場景1:實時數據集成平臺

可將 Tapdata LDP 用作一個實時數據集成平臺(Real Time Data Integration),用以替換升級老一代 ETL 工具,像是 Kettle、OGG、Kafka ETL 等相對複雜的方案,或是 ETL 腳本等。

場景2:實時數據服務平臺

升級後的實時數據服務平臺(Incremental DaaS),可以用來搭建企業級的數據共用中心,將企業核心數據放到中央化平臺里,取代 ESB/MQ,在某些場景下還可以替代 Hadoop 大數據平臺、數倉等,可以更好地為企業 BI 數據分析等下游業務提供數據服務支撐。

場景3:實時主數據服務

未來,Tapdata 還將推出實時主數據服務(Active Master Data Service),可以升級傳統的以周或月為單位進行主數據更新的解決方案,Tapdata 的目標是通過實時的方式來更新主數據,並且藉助 API 服務直接接入游業務中,讓下游業務可以直接用上企業核心數據。

Tapdata LDP 是如何工作的?

16.gif
Tapdata LIve Data Platform 的工作機制

如上圖所示,左側是企業的所有數據源,包括主流的 OLTP 資料庫,以及業務系統、文件、信息流事件等等。 Tapdata LDP 的工作機制是:

第一步,先基於日誌解析的能力,通過開放式框架 Plugin Framework,以實時等方式,第一時間對這些數據源頭中修改/更新/變動的數據進行採集並標準化,形成標準時間後進入流處理框架;

第二步,通過 Tapdata 自研方案,無需離開進程,在進程內即可完成數據計算、建模和轉型,快速得出結果,進入 DaaS Storage 層;

第三步,在將數據放入 Storage 層時,實際上已經形成了一套邏輯模型,在這裡,用戶無需關心數據存儲在哪裡,只需要關註真正需要的是哪些數據信息;

第四步,也是 DaaS 的關鍵價值所在,在服務層,有兩種主流的數據服務模式,分別是 Pull 和 Push。前者指的是 Tapdata 會自動發佈一些 API,這些 API 支持低代碼發佈,可以按照具體需求發佈數據。而當所需數據在業務系統中已有存儲時,就可以通過 REVERSE ETL,反向把這些經過整理、治理的數據推送給用戶,這也就是 Push 模式。

通過上圖大家不難發現,所有數據驅動業務都在最右側,並不包含在 Tapdata 四步工作流程之內。因為無論最終要用數據做什麼樣的業務,都是用戶自身需要關註的事情,Tapdata 只專註於提供準確、一致的最新數據。這就是 DaaS 的精髓:我們不做業務,我們只為實時數據做準備。

Tapdata 技術架構
如下圖所示,Tapdata 技術架構由一個大的插件體系、數據管理、系統和交互三部分構成。
17.png
Tapdata 技術架構概覽:一圖瞭解 Tapdata LDP 平臺架構方案

其中,插件體系又包含數據和結構的集成、計算和運算元集成、緩存集成等多個組成部分:

  • 數據集成:用以對接各種數據源,包括平臺主打的基於日誌實時解析的資料庫實時集成、以 API 和 Webhook 為特點的服務或應用的實時集成、來自 Excel/TXT 等文件的集成,以及來自 Kafka 等各種消息隊列的集成等。目前,Tapdata 平臺內已實現了對 40+ 不同數據源的支持,包括 Oracle、MySQL、PostgreSQL、SQLServer 等主流資料庫、API、隊列、物聯網等,並且還在持續擴充更多的數據源和類型。

  • 結構集成:與數據集成密不可分,提供數據結構的觀察視圖,可以幫助用戶更理解自己的數據,瞭解數據結構自身的流動和變化。

  • 計算和運算元集成:對應引擎組件,承擔了 LDP 的計算功能。是 Tapdata 專為實時數據服務場景打造的計算組件。在引擎中,用戶可以完成拖拉拽、低代碼構建 ETL 的任務,也可以基於 JS Python 等開發語言,可視化封裝各種各樣的操作組件,還能實現多流寬表流式聚合這樣繁重的高階能力,使用更方便。
    18.gif
    相較於基於 Kafka 的 ETL,在使用上無需進行冗長的鏈路開發,鏈路更短、延遲更低、更易排查

  • 緩存集成:對應緩存存儲,是 Tapdata 基於流計算場景對於存儲的獨特訴求而特別設計的組件,是順序和隨機的矛盾結合體,代表了性能和準確性之間的高度平衡。

  • 數據源插件:在完成數據計算之後,數據可以通過數據源插件寫入用戶需要的目標庫,完成流轉閉環。

  • Data API:利用 Tapdata 內置的數據存儲服務,還能直接將計算後的數據發佈為 API 介面,做到了真正的數據即服務。

數據管理部分,針對用戶對數據探索和感知能力的訴求,LDP 提供了數據溯源、搜索和數據目錄的功能。

系統和交互的部分,系統模塊主打企業特性,包括監控告警、全員審計等模塊;交互部分則提供了基於瀏覽器的界面操作、互動式的命令行操作,以及可遷入 SDK 的集成操作,用來滿足不同用戶的需求。

初步瞭解 LDP 架構大框架之後,下文將基於幾個重點模塊來解析其設計原則的細節、搭建中遇到的問題和對應的解決思路。

Tapdata 架構核心自研組建

  • Plugin Framework:插件化平臺擴展體系設計

Tapdata 插件體系中的各個組件分別對應不同的擴展能力,“可擴展”這一原則體現在 Tapdata 架構設計的方方面面,為適應不同場景帶來了便利。可以說 Tapdata 就是在插件體繫上生長的平臺。
19.png
插件設計 Tapdata LDP 的能力擴展加速

選取幾個具有代表性的數據連接插件(DataSource Plugin)為例:

① DATA:準確高效而穩健的數據接入

實時場景不僅對數據接入的性能和準確性要求高,對各種異常情況下的可排查性、可恢復能力的要求也很高。為此,Tapdata 在批流一體等常見介面之外,還提供了很多雖然不常見但非常有用的介面方法,共同支撐起一個能夠提供企業級數據準確性和穩定性保障的實時數據平臺。例如:

  • 全量增量的斷點續傳:偶爾犯錯, 快速恢復
  • 數據回放:錯已鑄成, 快速回滾
  • 獲取源庫最新事件時間:精準延遲判斷
  • 無條件心跳廣播:避免稀疏事件的斷點影響
  • 冪等設計: 保證數據的最終準確性

② META:優雅的模型自動推斷體系

在數據準確性這個問題上,數據本身外,數據結構的準確性也不容忽視。隨著數據源數量和類型的不斷擴展,異構複製等場景對 Tapdata LDP 造成的維護壓力只會越來越大,編譯成本也會越來越高。對於這個問題,常見的解法有兩種。一是基於 JSON 類型或語言原生類型進行結構描述,其弊端是往往會導致異構同步表結構不准確,需要用戶手動調整。二是基於一些開源框架,使用時需要先在目標端手動創建表,才可以開始做計算。顯然都不是很好的方案。

Tapdata LDP 針對數據結構的準確性做出優化

為此,Tapdata 給出了創造性的新思路——引入一個抽象的中間層,只需要描述數據源到中間層的映射,就會自動匹配出最適合的目標類型,給出映射關係,並自動構建目標表模型。該系統上線之後,用戶側遇到的建表不准問題大幅減少,同時也從根本上解決了數據源數量擴展的一大難題。

https://www.bilibili.com/video/BV1uZ4y1Y7KK/?aid=385693533&cid=766330100&page=1

戳上方鏈接,查看數據連接插件的成品效果演示,展示一個 MySQL 數據源從註冊到使用的全過程

  • Incremental Engine:分散式輕量實時計算引擎

Tapdata LDP 的計算引擎全稱是 Incremental Engine,顧名思義,專為增量實時計算設計,也是我們目前發現的最適合實時數據服務的引擎架構。引擎是一體化設計,相較於傳統架構的多進程數據互通模式,Tapdata LDP 將鏈路變得極其簡單。
2.png
Tapdata LDP 單進程完成數據互通,鏈路極簡

源→引擎→目標,所有工作都在一個進程內完成,極大地降低了用戶的使用負擔。而極簡並不意味著功能上的代償,LDP 引擎的功能齊全。從基本的同步、轉換,到高級的多流合併、多種聚合計算,LDP 引擎都有能力支持;數據來源、計算、運算元、存儲也都可以實現插件化擴展。此外,多個計算引擎之間,還實現了任務的自動故障轉移,具備分散式高可用的優勢。而且在多流無窗合併場景下,Tapdata 在滿足數據準確性的前提下數十倍降低了資源消耗,這也是 LDP 的一項特色能力。引擎為 Tapdata LDP 提供了核心動力,完美適配實數據服務平臺計算框架的需求。

  • CDC CACHE STORE:專為流計算場景優化的緩存引擎

CDC Cache Store 組件的設計初衷是用來緩存 CDC 增量事件。如下表所示,市面上常見的幾種資料庫,在增量訂閱方面的表現,或多或少都存在一些缺陷,並不能很好地滿足實時數據服務場景的需求。**
112.png
面對流計算對存儲引擎提出的順序訂閱和隨機讀寫的矛盾訴求,Tapdata 選擇對緩存存儲進行抽象,自主開發了一個緩存引擎,在具備一定高可用性能的隨機讀寫基礎上,對事件定義的併發性能做了很大的提升,在支撐平臺處理更多預算任務的同時,也讓整個平臺的技術架構變得更加乾凈。
113.png
Tapdata CDC CACHE STORE 架構設計

  • API Service:打造端到端完整閉環產品方案

面對如黃金般珍貴的實時數據,Tapdata 力求將數據獲取的便利性最大化。作為一體化解決方案,LDP 已實現如下能力:寬表直接發佈為介面,幫助業務快速上線;資料庫類型上層抽象,屏蔽介面差異;支持線上介面調試、運行;支持企業級管理,審計與監控功能一應俱全……由此,Tapdata LDP 讓數據價值的發揮實現了完美閉環,這也是 Tapdata 的一個設計目標。

Tapdata 優勢特性

作為新一代數據平臺,Tapdata LDP 具有以下三大特征:

① 面向服務的清晰架構:用最高效的方式來使用數據
114.png
服務化架構意味著,我們能夠把數據同步到中臺中央化平臺里進行復用,從而大幅減少從源頭髮出的數據鏈路,把鏈路的數量從數百降到數十甚至更少,降低對源頭源庫的影響。從實時數據集成角度來看,Tapdata LDP 需要更少的節點,可以從十幾個進程降到兩三個進程。而且邊界清晰,專註於數據的第一公裡或者前幾公裡,拒絕全家桶,專註基礎能力。

② 全鏈路實時的能力:支持 TP+AP 場景,發揮更大的數據價值
115.png
這也是 Tapdata 主打的 DNA 品質,從 LDP 的命名就能看出 Tapdata 對 Live 的高度重視。Live 即鮮活、新鮮,Tapdata 全程面向具有最高價值的 TP 和實時分析的 AP 場景,旨在發揮更大的實時數據價值,主要體現在這幾個方面:

  • 採集實時:Tapdata 支持超 40+個數據源,支持源到目標 Any to Any 的數據實時同步對接,接下來還將通過開源的方式,在 Tapdata 主力之餘,讓開發者們參與共創,一起努力讓數據源版圖快速拓展到 100+。
  • 傳輸實時:從源端到目標端,精準控制,實現了低至亞秒級的傳輸延遲。
  • 計算實時:過程中需要計算時,Tapdata LDP 具有每秒數萬條的實時流計算處理能力,單節點的情況下,通過並行分散式該能力還可以進一步提升。

③ 最易用的數據開發體驗:面向開發者、面向數據工程師
116.png
站在審視一個數據產品的角度,Tapdata 非常關註 LDP 的易用性和靈活性,無需部署十幾個節點,開發者、數據工程師直接下載就可以非常方便地使用起來,打造卓越的使用體驗。Tapdata 提供了兩種使用交互的方式:

  • 全程可視化:面向數據工程師,支持對企業的所有數據進行托拉拽式的加工、建模、處理、合併,所見即所得,快速獲取一個永久實時更新的數據模型。
  • 首創 Fluent ETL API:面向開發者,特別針對開源社區,無需 SQL,只需要寫一段程式就可以擁有數據集成能力,完成數據開發工作。

Tapdata 相信,IT 服務化是一個非常明確的趨勢,從 20 年前亞馬遜把基礎架構作為服務開始(IaaS, Infrastructure as a Service),到十多年前把資料庫中間件作為服務(PaaS, Platform as a Service),再到近幾年特別火熱的 SaaS(Software as a Service),“服務化”的發展非常快,服務化價值也得到了歷史的證明。而如今的趨勢,就是將數據抽象為一種服務,為下游的一切業務提供支撐。讓數據使用像打開水龍頭使用自來水一樣簡單,這是 Tapdata 的願景,也是 Tapdata 命名的初衷——Make Your Data on Tap。
117.png
IT 服務化趨勢下,DaaS 的發展已成必然

與此同時,我們也欣慰地發現,行業中已經有越來越多的視線開始投向這一賽道,期待集結更多力量推動數據技術的發展更進一步。

Tapdata LDP 現已開放自助體驗通道

讀到這裡,相信大家對 Tapdata LDP 已經有了一定的認知。想要進一步瞭解更多相關信息?想要真正上手體驗 LDP 產品功能?歡迎註冊成為 Tapdata LDP 首批體驗官,獲取體驗官專屬服務:
58e81772947a4bd9ad0117af852812b1.png
自助流程:
第1步:點擊這裡 註冊成為“Tapdata 體驗官”
第2步:註冊成功後進入“體驗官個人中心”
第3步:在專屬服務中點擊“下載安裝包並獲取企業版 License”,按照試用指引完成安裝和 License 激活。或點擊“企業版線上 DEMO 體驗”獲得登錄賬號和密碼

三、「魚」與「熊掌」兼得:Tapdata 並駕齊驅的開源與商業化

Tapdta 創始人 TJ 從寫下 Tapdata 的第一行代碼開始,就決定一定要將源代碼開放出去。

6月的最後一天,Tapdata 開源版本正式上線。

無論是從公司的角度還是從行業生態的角度,開源與商業化從來都不是“魚”與“熊掌”的關係,而是互為引擎的相輔相成。開源帶來技術創新,為 Tapdata 輸送生生不息的迭代動力;商業化收益反哺開源社區,又將為開源模式持續運轉提供穩定的基礎支撐。“開放”與“開源”正是 Tapdata 刻進 DNA 里的戰略堅持。

Tapdata 為什麼要做開源?

119.png
基於開源組建的數據集成解決方案

今天,已經有越來越多的企業和用戶意識到了數據的價值。但複雜且繁瑣的既有開源解決方案往往讓很多用戶望而卻步。面對現存數據平臺開源解決方案存在的鏈路長、非實時、成本高、難維護等缺陷,Tapdata 正在全力打造與之相對的一種快速、實時、簡單、易用的新平臺。Tapdata 希望以全自動化的實時數據集成能力為基礎,連接並統一企業的數據孤島,成為企業的主數據底座。
120.png
Tapdata 致力於打造快速、實時、簡單、易用的新方案

同時我們也深知:一個人、一個公司的力量是有限的,而 Tapdata 的願景是遠大的,在通往目標的路上,有大量挑戰在等待著我們。我們需要社區的聲音、用戶的鞭策、積極的參與以及多方的幫助,一同將產品打造得更強。我們希望通過開源,讓越來越多的開發者參與到 Tapdata 的使用與開發中來,幫助 Tapdata 開源項目實現更快的成長,更快地滿足更多用戶的訴求,讓更多用戶能夠獲得新鮮數據的價值,並帶來更多的需求與場景。

Tapdata 創始人TJ 從寫下第一行代碼開始,就決定一定要將我們的源代碼開放出去。我們已經準備好了——讓 Tapdata 開源版本,為更多開發者輸送實時數據的新鮮血液。

Tapdata 開源 RoadMap

121.png
如上面的開源路線圖所示,6 月 30 日發佈的首個開源版本核心覆蓋的場景是:實時數據同步、開發和 Fluent ETL。3 個月之後,我們將發佈 Tapdata 1.5 版本,預計新增實時數據校驗、增量數據校驗、自定義函數與聚合運算元場景支持,同時將數據源補充到 50 個以上。

預計將於 2022 年 11 月 30 日正式發佈的 2.0 版本補充的核心能力包括:Any DB-To-API,數據目錄、數據發現、數據溯源,並將支持的數據源數量提升至 80+。除此之外,我們還有非常多想要和所有社區開發者在演進過程中一同探索實現的能力,和共同交流解決的問題。在未來,Tapdata 開源版本還將推出 Open API、流式存儲引擎、Open Metadata、Master Data 等多重重磅能力,敬請期待!
122.png
Tapdata 開源能力清單

Tapdata 首批開源體驗官限量招募中!

為了更好地傾聽開發者們的聲音,共創優雅易用、功能完備的實時數據平臺,Tapdata 現公開徵集開源項目體驗官,搶鮮體驗優質開源項目 Tapdata ,成為社區首批成員,結識更多開發者同路人,與 Tapdata 攜手挖掘數據潛能,第一時間獲取項目最新資訊。

作為 Tapdata 社區首批用戶,你將可以:

  • 讓你的數據快人一步,感受 Data on Tap
  • 獲得 Tapdata 開源 Issue、需求的特殊優先順序
  • 第一時間收穫社區最新資訊(包括但不限於開發計劃、核心技術、業務場景等)
  • 參與活動、領取開源體驗官新手任務、獲得上午雙肩包、潮牌 T 恤等更多好禮
  • 有機會受邀加入 Tapdata Committer Program,成為正式的 Tapdata Committer
  • 有機會直接參与並影響 Tapdata 的未來走向

123.png

原文鏈接:Tapdata 的 2.0 版 ,開源的 Live Data Platform 現已發佈 - Tapdata


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Internet層 Internet層相關協議 ICMP協議: Internet Control Message Protocol,用於探測網路中的狀態,ping命令使用的就是icmp協議(向網路中發送icmp協議數據包,根據網路的狀態返回不同的提示信息),不但能檢測網路的狀態,還能檢測網路的速度。 ...
  • 目錄 一、前景回顧 二、線程的實現 三、線程的切換 四、運行測試 一、前景回顧 上一回我們實現了記憶體管理系統,說實話代碼還是比較多,看起來還是比較頭疼的,不過為了知識這都是小事。這一節終於可以來實現我們的線程了,以前學操作系統的時候,聽到的最多的就是什麼線程,進程等,這一回我們來自己動手實現一下,加 ...
  • WaveLab 11 Pro是一款非常強大的母帶製作工具,引入了對多通道交錯文件的擴展支持,並且首次在音頻編輯器中引入了多通道交錯編輯。WaveLab 11 Pro Mac版支持多達 22.2 環繞聲佈局的 WAV 文件(包括用於預創作目的的 Ambisonics 文件),可以像任何其他單聲道/立體 ...
  • Transmit 5是專為mac用戶設計的一款功能強大的ftp客戶端,Transmit Mac版同步功能增加了對本地到本地和遠程到遠程同步的支持,同時還為您提供了更精細的控制。與此同時,用戶還可以通過Transmit在任意應用程式中無須下載即可實時編輯文檔,除此之外,用戶還可以通過Transmit的 ...
  • DaVinci Resolve Studio 18 for Mac是一款Mac的達芬奇調色軟體,DaVinci Resolve 18是一次重大更新,這一版本彙集了超過100項新功能和200項改進!調色頁面設立了新的HDR調色工具,重新設計了一級校色控制工具,並添加了基於AI的Magic Mask遮罩 ...
  • 鏡像下載、功能變數名稱解析、時間同步請點擊 阿裡雲開源鏡像站 前言 本文主要學習 ROS機器人操作系統 ,在ROS系統里調用 OpenCV庫 實現人臉識別任務 一、環境配置 1.安裝ROS sudo apt-get install ros-kinetic-desktop-full 2.攝像頭調用 安裝攝像頭 ...
  • 摘要 RadonDB MySQL Kubernetes v2.2.0 於近日發佈!該版本開始支持 MySQL 8.0,備份功能優化,並全面提升高可用穩定性。社區同步發起“新版試用贏周邊”活動! 致謝 感謝 @runkecheng、 @acekingke、 @andyli029 、@zhl003、 @ ...
  • 作為雲原生技術先驅,騰訊雲資料庫內核團隊致力於不斷提升產品的可用性、可靠性、性能和可擴展性,為用戶提供更加極致的體驗。為幫助用戶瞭解極致體驗背後的關鍵技術點,本期帶來騰訊雲資料庫專家工程師王魯俊給大家分享的騰訊雲原生資料庫TDSQL-C的架構探索和實踐,內容主要分為四個部分: 本次分享主要分為四個部 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...