SeaTunnel 發佈成為 Apache 頂級項目後首個版本 2.3.2，進一步提高 Zeta 引擎穩定性和易用性

来源:https://www.cnblogs.com/seatunnel/archive/2023/06/25/17503727.html
-Advertisement-
Play Games

![file](https://img2023.cnblogs.com/other/3195851/202306/3195851-20230625185718639-2144905227.jpg) > 近日，Apache SeaTunnel 正式發佈 2.3.2 版本。此時距離上一版本 2.3.1 ...


file

近日，Apache SeaTunnel 正式發佈 2.3.2 版本。此時距離上一版本 2.3.1 發佈已有兩個多月，期間我們收集並根據用戶和開發者的反饋，在 2.3.2 版本中對 SeaTunnel Zeta Engine 進行了 Bug 修複，提高了引擎的穩定性和使用效率。

此外，新版本還對 Connector-V2 中的連接器進行了功能和性能優化，同時 SQL Transfrom 支持了自定義 UDF 函數，Zeta Engine 也提供了通過 Rest API 的方式進行集群的監控和查詢操作。

本文將為大家介紹 Apache SeaTunnel 2.3.2 版本更新內容具體情況。

新功能

本次更新，Zeta Engine 支持了以 RestAPI 的方式獲取任務和系統的監控信息，用戶可以通過調用 HTTP 請求到任意節點完成數據信息請求，增強了任務的監控能力。

詳情可參考：https://seatunnel.apache.org/docs/2.3.2/seatunnel-engine/rest-api

此外，2.3.2 版本中 SQL Transform 支持了自定義 UDF 函數，詳細用法請參考：https://seatunnel.apache.org/docs/2.3.2/transform-v2/sql-udf

Core

[Core] [API] 支持將字元串轉換為List選項 (#4362)
[Core] [API] 在創建源、接收器和轉換之前添加選項檢查到FactoryUtil中 (#4424)
[Core] [Shade] 添加guava shade模塊 (#4358)

Connector-V2

  • [Connector-V2] [CDC] [SQLServer] 支持多表讀取 (#4377)
  • [Connector-V2] [Kafka] Kafka源支持跳過數據反序列化失敗 (#4364)
  • [Connector-V2] [Jdbc] [TiDB] 添加了TiDB目錄 (#4438)
  • [Connector-V2] [File] 添加了文件Excel的源和接收器 (#4164)
  • [Transform-V2] 添加了UDF SPI和一個示例實現，用於SQL轉換插件 (#4392)
  • [Transform-V2] 支持複製欄位列表 (#4404)
  • [Transform-V2] 為FieldMapperTransform添加了CatalogTable支持 (#4423)
  • [Transform-V2] 為ReplaceTransform添加了CatalogTable支持 (#4411)
  • [Transform-V2] 為FilterRowKindTransform添加了Catalog支持 (#4420)
  • [Transform-V2] 為FilterFieldTransform添加了CatalogTable支持 (#4422)

Zeta Engine

  • [Zeta] 支持Factory和Plugin SPI的混合使用 (#4359)
  • [Zeta] 添加了通過作業ID獲取運行中作業信息的REST API (#4140)
  • [Zeta] 添加了獲取系統監控信息的REST API (#4315)
  • [Transform V2 & Zeta] 使SplitTransform支持CatalogTable和CatalogTable演化 (#4396)

改進

Apache SeaTunnel 2.3.2 版本對 Zeta 引擎進行了穩定性修複，解決了記憶體占用過高不釋放的問題，同時解決了大量資源占用問題，對性能也做了相應的優化。

Core

  • [Core] [Spark] 將轉換操作從Spark Driver推送到Executors (#4503)
  • [Core] [Starter] 優化代碼結構，刪除冗餘代碼 (#4525)
  • [Core] [Translation] [Flink] 優化代碼結構，刪除冗餘代碼 (#4527)

Connector-V2

  • [Connector-V2] [CDC] 改進startup.mode/stop.mode選項 (#4360)
  • [Connector-V2] [CDC] 優化jdbc fetch-size選項 (#4352)
  • [Connector-V2] [SQLServer] 修複了SQL Server目錄的問題 (#4441)
  • [Connector-V2] [StarRocks] 改進StarRocks序列化錯誤消息 (#4458)
  • [Connector-V2] [Jdbc] 添加了SQL日誌，並更新了一些樣式 (#4475)
  • [Connector-V2] [Jdbc] 修複了多個表時無法自動獲取表名的問題 (#4514)
  • [Connector-V2] [S3 & Kafka] 刪除不可用的S3和Kafka目錄 (#4477)
  • [Connector-V2] [Pulsar] 支持Canal格式

Zeta Engine

  • [Zeta] 支持通過守護進程模式運行伺服器 (#4161)
  • [Zeta] 使用ClassLoader改進客戶端的SDK相容性 (#4447)
  • [Zeta] 客戶端支持非同步提交作業 (#4456)
  • [Zeta] 增加更詳細的日誌輸出 (#4446)
  • [Zeta] 改進seatunnel-cluster.sh腳本 (#4435)
  • [Zeta] 當任務未準備好時，降低CPU消耗 (#4479)
  • [Zeta] 添加解析器日誌 (#4485)
  • [Zeta] 刪除冗餘代碼 (#4489)
  • [Zeta] 在validateSQL中刪除冗餘代碼 (#4506)
  • [Zeta] 改進JobMetrics的性能 (#4467)

Bug修複

Core

*[Core] [API] 修複了列表的通用類丟失的問題 (#4421)
*[Core] [API] 修複瞭解析嵌套行數據類型鍵變為大寫的問題 (#4459)

Connector-V2

  • [Json-format] [Canal-Json] 修複了JSON反序列化時的空指針異常問題 (#4195)
  • [Connector-V2] [Jdbc] 修複了在JDBC源查詢中不支持欄位別名的問題 (#4210)
  • [Connector-V2] [Jdbc] 修複了連接超時導致連接失敗的問題 (#4322)
  • [Connector-V2] [Jdbc] 將JdbcOption: generate_sink_sql的預設值設置為false (#4471)
  • [Connector-V2] [Pulsar] 修複了無法持續消費消息的問題 (#4125)
  • [Connector-V2] [Eleasticsearch] 修複了文檔描述錯誤的問題 (#4390)
  • [Connector-V2] [Eleasticsearch] 修複了源反序列化錯誤和不適當的問題 (#4233)
  • [Connector-V2] [Kafka] 修複了KafkaProducer資源從未被釋放的問題 (#4302)
  • [Connector-V2] [Kafka] 修複了client.id導致許可權問題的問題 (#4246)
  • [Connector-V2] [Kafka] 修複了提交偏移錯誤導致KafkaConsumerThread退出的問題 (#4379)

Zeta Engine

  • [Zeta] 修複了LogicalDagGeneratorTest測試用例的問題 (#4401)
  • [Zeta] 修複了MultipleTableJobConfigParser僅解析一個轉換的問題 (#4412)
  • [Zeta] 修複了缺少common插件jar包的問題 (#4448)
  • [Zeta] 修複了在檢查點已完成時仍調用handleCheckpointError的問題 (#4442)
  • [Zeta] 修複了作業錯誤消息不正確的bug (#4463)
  • [Zeta] 修複了查找TaskGroup部署節點的bug (#4449)
  • [Zeta] 修複了配置文件的bug (#4488)
  • [Zeta] 修複了從zeta載入連接器的邏輯問題 (#4510)
  • [Zeta] 修複了hadoop-hdfs的衝突依賴問題 (#4509)

E2E

*[E2E] [Kafka] 修複了Kafka端到端測試用例的問題 (#4520)
*[Container Version] 修複了無法重現的測試用例風險問題 #4591

文檔優化

  • [Docs] 優化了Doris和SelectDB連接器文檔的部分內容 (#4365)
  • [Docs] 修複了文檔中的代碼樣式問題 (#4368)
  • [Docs] 更新了jdbc文檔和kafka文檔 (#4380)
  • [Docs] 修複了max_retries預設值為0的問題 (#4383)
  • [Docs] 修複了Markdown語法問題 (#4426)
  • [Docs] 修複了Kafka文檔錯誤的配置鍵 "kafka." (#4427)
  • [Docs] 添加了快速入門v2中的Transform部分 (#4436)

貢獻者名單

感謝白鯨開源工程師 範佳 對本次版本發佈的支持，以及以下社區小伙伴的貢獻！

Andrew Wetmore,

Bibo,

Carl-Zhou-CN,

Cason-ACE,

Chengyu Yan,

CodingGPT,

dalong,

Eric,

FlechazoW,

Guangdong Liu,

Hao Xu,

J.A.R.V.I.S,

Kim,

Laglangyue,

Marvin,

TaoZex,

Tyrantlucifer,

Xiaojian Sun,

ZhilinLi,

Zongwen Li,

dylandai,

gnehil,

hailin0,

ic4y,

kezhenxu94,

lightzhao,

lucklilili,

lvshaokang,

mengxiaopeng,

monster,

songjianet,

stdnt-xiao,

thomasc,

will27,

wyc,

xiaofan2012,

zhilinli,

沫

本文由 白鯨開源 提供發佈支持！


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 在Windows11平臺安裝JDK11（雙11）
    # 前言 本文主要是詳細講解在 Windows 11 系統上安裝 JDK 11，安裝時有一些註意事項需要說明。與 JDK 8 的安裝過程有少許不一樣。 # 一、安裝前說明 ## 1.系統要求 在微軟 Windows 11 平臺上安裝 JDK 11，首先我們看一下在64位 Windows 平臺上安裝 ...
  • Maven 入門實戰(1)--簡介及安裝
    Maven 是一種軟體項目管理和理解工具；它基於項目對象模型（POM），從中央位置管理項目的構建、報告和文檔，並幫助開發人員輕鬆管理依賴項並自動化構建過程。 1、簡介 1.1、項目目錄 Maven 使用約定優於配置的原則，提倡使用一個共同的標準目錄結構。 目錄說明 ${basedir} 項目根目錄， ...
  • 一天吃透MySQL面試八股文
    > 內容摘自我的學習網站：topjavaer.cn ## 什麼是MySQL MySQL是一個關係型資料庫，它採用表的形式來存儲數據。你可以理解成是Excel表格，既然是表的形式存儲數據，就有表結構（行和列）。行代表每一行數據，列代表該行中的每個值。列上的值是有數據類型的，比如：整數、字元串、日期等等 ...
  • 小試Blazor——實現Ant Design Blazor動態表單
    大家好，我是沙漠盡頭的狼。 網站使用Blazor重構上線一天了，用Blazor開發是真便捷，空閑時間查查gpt和github，又上線一個 [正則表達式線上驗證工具](https://dotnet9.com/tools/regextester) 和幾個線上小游戲，比如 [井字棋游戲](https:// ...
  • WPF 入門筆記 - 06 - 命令
    在`WPF`中，命令是一種用於處理用戶交互操作的機制。它將操作行為與界面元素解耦，使得界面元素可以通過命令進行觸發和執行相應的邏輯。`WPF`中的命令模型通過`ICommand`介面和相關的實現類來實現。命令模式的設計思想是將命令的發送者（例如按鈕）與命令的執行者（例如視圖模型中的方法）解耦，使得它... ...
  • centos7-datax和datax-web安裝以及安裝中問題的解決
    問題應該算挺常見的但是一句話還挺難說清楚，所以百度特別難搜。 場景就是，有一堆以員工名稱命名的文件（名稱可能還有字母數字等前尾碼），現在給定一個員工清單，需要從這些文件中篩選出員工清單上列出的員工的文件，並複製到另外一個目錄中。 輸入： 1. 許多文件名包含員工名稱的文件 2.一個清單文件，裡面包含 ...
  • ps插件Camera Raw新增功能讓您的智能修圖更簡單~
    哈嘍大家好，我是鹹魚 今天跟大家分享一個關於 zabbix Timeout 值設置不當導致的問題，這個問題不知道大家有沒有碰到過 ## 問題 事情經過是這樣的： 把某一臺 zabbix agent 的模板由原來的 `Template OS Windows by Zabbix agent` 換成了 ` ...
  • Spark簡介
    # Spark Spark是一種快速、通用、可擴展的大數據分析引擎，2009年誕生於加州大學伯克利分校AMPLab，2010年開源，2013年6月成為Apache孵化項目，2014年2月成為Apache的頂級項目，2014年5月發佈spark1.0，2016年7月發佈spark2.0，2020年6月 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類