 Apache DolphinScheduler 3.2.0 版本已經呼之欲出，8 月 中下旬，這個大版 ...
Apache DolphinScheduler 3.2.0 版本已經呼之欲出，8 月 中下旬，這個大版本就要和用戶見面了。為了讓大家提前瞭解到此版本更新的主要內容，我們已經製作了幾期視頻和內容做了大致介紹，包括《重磅預告！Apache DolphinScheduler 3.2.0 新功能“劇透”》、《3.2.0 版本預告！Apache DolphinScheduler API 增強相關功能》。
今天，我們來介紹另一個用戶比較關心的新功能——Remote logging（遠程日誌），看看是否能幫助你的工作變得更簡單吧！
https://www.bilibili.com/video/BV1U14y1q74N/?spm_id_from=333.999.0.0
今天由為大家介紹 Apache DolphinScheduler 3.2.0 的一個新特性，叫做 Remote logging。我們會從三個部分來說明這個功能，第一，它是什麼，解決什麼問題；第二，它如何配置；第三，我們怎麼去使用它？
遠程日誌是什麼？解決什麼問題？
在沒有這個功能之前，我們的任務日誌流向是這樣子的，任務運行完的時候，Worker 會將日誌寫到 Worker 本地，當用戶需要去查看任務日誌的時候，我們會發送請求這個 Worker 的日誌，然後展示給用戶。當一些意外情況出現，導致這個 Worker 的日誌不存在，或者是這個 Worker 不存在的時候，用戶在頁面上就看不了日誌了。
但是有了 Remote Logging，這個問題就能得到比較好的解決。它整體的流程如下所示：
我們只是增加了這條線的部分以及下麵 Remote Logging 的部分，當我們的 Worker 將日誌寫到本地的時候，會有個非同步線程將寫到本地的 log 同步到 Remote Logging。當一些意外情況發生導致日誌丟失，但用戶想要看日誌詳細信息的時候，我們會有個請求將日誌從遠端拉到本地，然後本地返回。
為什麼我們要設置這樣一個動作呢？這樣做首先能保證介面的一致性，就是日誌全部都是從 Worker 發送給 API Server，然後去讀取的。其次是儘量減少我們遠端的帶寬，只有當本地日誌缺失的時候，我們才會去下載遠端的日誌。
如何配置？
接下來我們快速說明一下如何配置 Remote Logging。在我們的發版文件里會有關於如何啟動和配置的簡單介紹。
首先，我們要修改 Common Properties 文件，將這個 remote.logging.enable 設置存儲並且設置為你想要存儲的遠端存儲介質。目前我們支持了 OSS、S3 和 GCS。
其次就是一些第三方遠端存儲的配置，比如 AccessKey、Secret 以及對應的 bucket 和 region 等。
如何使用？
我們回到頁面，體驗一下 Remote Logging 是如何使用，以及我們是如何判斷它是生效的。
我們這裡有一個簡單的工作流，它只有兩個任務，分別列印了 1 和 2 這兩個信息。手動觸發這個工作流並觀察日誌，看看它是否正常地被寫到遠端。
當我們觸發了工作流運行，並且工作流是運行成功的，我們將日誌寫到遠端。當任務被運行成功的時候，我們就開始寫日誌了。
這一行就能很明顯地看到，日誌被寫成功之後，會同時有一個非同步線程將日誌同步到遠端的存儲。
因為我們這裡使用的是 S3，它將本地的路徑的日誌同步了一份到遠端。回到 S3 的頁面，可以看到 log 已經存在了。
接著我們模擬一下當本地 Worker 的日誌缺失的時候，我們如何去讀日誌。 我們手動將這個日誌文件刪除，可以看到這個文件夾下麵有兩個日誌文件，分別是 3 和 4。將這兩個文件都刪除，可以看到這裡已經沒有對應的日誌文件了。
此時，如果是之前的版本，我們已經不能查看最新的 instance 的日誌文件了，但是有了 Remote Logging，就會發現本地不存在這個日誌，將日誌從遠端下載到本地給用戶查看。
模擬一下，這裡我們點擊查看任務日誌，會發現任務日誌已經被顯示出來了。再去查看一下本地文件，會發現剛剛不存在的日誌已經下載下來了，並且只下載了我們需要的那一個。
接下來看看另一個任務的日誌，同樣發現是能被顯示的，本地的兩個日誌文件也被下載下來了。查看服務日誌，我們發現它已經檢測到日誌文件不在本地出現，會去遠端獲取這個日誌文件。
這就是 Remote Logging 功能的大致介紹，如果它能解決你的問題，歡迎在 8 月中下旬發佈 3.2.0 版本的時候，升級版本來體驗一下！
本文由 白鯨開源 提供發佈支持！
