Apache DolphinScheduler PMC:開源不一定也要九死一生

来源:https://www.cnblogs.com/DolphinScheduler/archive/2022/09/02/16649296.html
-Advertisement-
Play Games

點亮 ⭐️ Star · 照亮開源之路 GitHub:https://github.com/apache/dolphinscheduler ​ 參與開源已經快3年了,這次在Meetup上沒有分享純技術的話題,其初衷是想帶這大家從一個開源社區維護者的視角來看開源,希望大家能從中獲取到一些感悟,當然這次 ...


點亮 ⭐️ Star · 照亮開源之路 GitHub:https://github.com/apache/dolphinscheduler   ​   參與開源已經快3年了,這次在Meetup上沒有分享純技術的話題,其初衷是想帶這大家從一個開源社區維護者的視角來看開源,希望大家能從中獲取到一些感悟,當然這次的話題有些觀點可能抱有主觀看法,大家多多包涵。   ​   鐘嘉傑 白鯨開源數據工程師 Apache DolphinScheudler PMC  

 

什麼是開源

我在這裡說的開源特指開源軟體(open source software, 縮寫 OSS), 又稱開放源代碼軟體, 是一種源代碼可以任意獲取的電腦軟體,一些開源軟體被髮布到公有領進行托管, 如GitHub, GitLab, Gitee 等。   常見的開源軟體有: 操作系統: Linux Kernel, Chrome OS, 基於 Kernel 的各種發行版等 資料庫: Postgres, MariaDB,MongoDB, Redis 等 編程語言: JavaScript, OpenJDK, CPython 等 中間件: Nginx, Apache HTTP, Moby(docker)  

開源的組成形式

一家生產飲料的公司,有一個非常獨特的配方,生產出來的飲料大家都喜歡喝, 配方層層保密,就是整個區域整個國家甚至是全球,只有它才能生產出這樣的飲料,我說的這家公司就是可口可樂,這種模式導致傳說這個配方比公司的市值還要高。   ​     我有好的idea。這個idea在市場上適用性很高,在以前經濟主體中, 會希望將這個idea層層保密, 將它作為我的商業秘密保存, 類似可口可樂。   在開源中卻不是這樣的,比如我開發了一個有趣的東西,我想的更多的是把它開源出去,希望更多人來使用/參與,希望大家對他提點意見。   在這個過程中部分作者認為,在他將產品開源過程中, 能獲取榮譽感,產出是被人認可的。而從我的角度來看,是一個既能解決我的問題,又能解決別人問題的過程,讓我的代碼變得更有意義。   項目的控制力。飲料公司配方就是集中式的體現,公司不希望有很多人瞭解這個事情,不希望別人知道有秘方的存在。同時, 之前的軟體行業也是如此,有些軟體會暴露一些SDK讓用戶去基於SDK開發插件 ,但是從來不會把他們的代碼給開源出來,他們希望自己是產品的控制者,其他人只是參與者。   但是開源就不一樣,他不僅會告訴你如何去寫插件,你也可以看項目核心的代碼,可以修改核心的代碼,如果修改是正確,社區維護者會接受你的修改。在開源里控制權不再是一個個體, 公司, 或者國家, 它是被社區控制。這裡說的控制指的是發展方面,以及修改合併的審核,並不是對軟體和參與者的控制。   人員的組成。在我剛參加工作的時候,有不懂的就會去問我的leader。但參加開源之後會發現,這裡更加傾向在公共領域拋出問題,而非點對點交流。當有問題的時,在郵件列表,或者slack/微信群拋問題,你會發現有用戶來幫你解決問題了,社區的貢獻者回覆的有時沒有用戶的快,這就是人員組成的問題。   社區往往是一群人在努力奮鬥,能收集更多用戶場景,能將產品打磨使其適用性更加廣,在3、5年前,小海豚用戶還沒有這麼多,會面臨適用性問題, 隨著用戶數量和反饋越來越多,小海豚的適用性越來越廣,很多公司基本上剛接觸就可以直接一鍵部署,除了一些OA 或者特殊的鑒權,整個業務就能很快就能跑起來。  

 

在局中

  很多小伙伴可能都覺得開源可能離你很遠,我個人覺得這是一個錯誤的觀點,其實大部分人都已經身在其中。只要你在使用開源的軟體,無形中你就已經成為整個開源大廈當中的一部分,你是社區的用戶,又或者今天來參加社區技術活動、參加Meetup也是社區的參與方式,開源並沒有離我們很遠。  

有庫寫入權

  除了Apache基金會旗下的開源項目,Google、Facebook、阿裡等企業開源出來的項目,只要你在裡面貢獻代碼,並且有獲取寫入許可權,你就算是一個開源項目的維護者了。甚至自己寫了一個小工具,並且在細分領域非常有用,並且開源出來有人在使用,有人star,你也是屬於開源維護者,算得上是一個在深度參與開源的小伙伴了。  

貢獻過代碼

  如果你在開源項目中貢獻過代碼,不管是文檔還是代碼,都是被歸屬為貢獻者人群。其次是參與社區討論,比如海豚調度會有郵件列表和對應的 GitHub issue,我們會在郵件列表討論問題,如果參與其中討論問題的討論,甚至是在微信群/slack群討論內容,那你就算是一個深度的用戶,並且在參與推動開源反饋的過程。   這裡補充一點,反饋對一個開源軟體來說很重要,我們需要持續的深入去挖用戶的場景,甚至海豚調度到今天來說還會不斷地去做用戶訪談,挖掘有哪些未解決的痛點,社區從哪些維度優化改善提升!特別是很多用戶都在反饋同一個痛點的時候,開源的維護者就會不斷去推動落實,說不定未來的3.5或者4.0發版的時候,這個痛點問題被解決了。   ​  

使用過項目-用戶

  還有一類用戶,經常使用但是不參與任何討論。我們看到上面的漏斗圖,會發現這個用戶群體在社區裡面是最大的群體,也是最重要的一個群體。我見過有些開源軟體,它代碼寫得不錯,但是沒有用戶使用或者是它的用戶群體太小眾了,我認為它可能是一個開源軟體,但它算不上偉大,用戶群體的多寡很可能會決定產品是否偉大。  

貢獻者入權

  接下來我們會發現社區裡面第二大的群體就是Contributor。如果說用戶是很重要的話,那Contributor可能就是正向推動整個開源的核心力量。比如他在使用DolphinScheduler發現了一些可優化點,提個 PR修改源碼或者文檔,作為維護者或者作為核心貢獻者,都會非常的高興去採納他,並且還會一起溝通、協商如何把這個PR給merge到分支去,這些貢獻者的存在,才能讓社區欣欣向榮。  

維護者

開源社區的維護者就是擁有代碼的寫入或者修改許可權的人。但是在這裡想特別說明一下,漏斗圖裡面僅僅是說明瞭數量的變化,並不上表示區分社區不同角色的重要程度。正如剛剛所說,雖然我是DolphinScheduler的PMC,但我並沒有覺得我這個身份比任一的用戶更重要,海豚調度在早期沒有用戶的話,那海豚調度這個項目也就走不遠了。  

開源有趣的事兒

  我目前是白鯨開源的數據工程師,就是可能有部分小伙伴瞭解到白鯨開源主要乾的事是基於DolphinScheduler去做商業化。有的小伙伴就會認為你是這個公司的員工,是不是會專註海豚調度社區,應該有更多的時間投入社區,幫大家去解答問題,去實現大家的一些想法。當然這個想法是正確的,但又不完全正確,因為我的時間投入可能不比大家的多太多。  

時間分配

  其實在一家開源商業化公司做工程師,在時間上並沒有大家想象中的那麼充沛。在日常處理中,大家 70% 的時間都是在處理公司的業務需求,只有 30% 時間專註在開源上面。當然這裡並不是說我只有 30% 的時間才去貢獻 DolphinScheduler 代碼,日常工作中我和同事大部分代碼是貢獻到 DolphinScheduler 的,但是這也存在時間節點,就如同大家在公司開發項目一樣。比如為了擴展用戶,我們做了部分SaaS 相關組件以及Python API相關的支持,這部分代碼我們全部貢獻到 DolphinScheduler 倉庫中,但是我會將其歸結為公司的日常工作,因為這是公司的業務相關,且又期望時間節點的事情。   現實情況就是,需要將公司分配的任務完成之後,才能去做社區review代碼等一系列事情。     而在剩下的30%時間,我也不都是在看issue跟PR,大部分時間會關註到我個人在社區負責的模塊,我目前主要是負責Python API以及文檔模塊,當這塊有特定的 PR 提交上來的時候,會第一時間@到我,我就會提前去 review 這一個部分,我認為這是我對社區的職責,並不是我對公司或者任何一個人的責任,是我覺得我做了社區一份子應該做的事情,換個角度說,我覺得這是社區每個參與維護或貢獻的小伙伴都需有這種責任心,這樣才能保證社區繁榮發展。   如果有小伙伴往 DolphinScheudler 提交 PR 的時候,會發現你提交 PR 的時候他會立馬去要求幾個小伙伴去看,這就是他們在社區所負責的範疇。   當你發現你的 PR 或者是 issue 沒有被人及時回覆的時候,你可以手動 at 他,我相信他也會立馬去幫你 review,如果他看到沒有回覆,可能真的是不小心看漏消息。  

發版所需要的時間

  我還有 20% 時間要處理髮版的事情。之前社區有小伙伴說發版的頻率不是很高,其實社區的發版遠比大家想的要複雜。首先每個發版人有一定的壓力,因為這個版本是經過他的手發出,他需要保證新版本能夠高效穩定的運行。其次Apache 基金會發版有一套發版流程。單投票這一個環節就需要三天,你會發現你可能啥都準備好了,但是走測試流程、走發版流程也可能需要消耗個把星期,才能把版本發出來!   另外10% 的時間我才會處理大家讓我去做的一些需求,比如小伙伴在在 slack 或者 微信讓我幫忙看看代碼, 我看到都會點進去瞧瞧, 如果太忙我會在 Github 簡單評論, 並說晚點我看看。然後只有 10% 的時間我會主動地去檢索我們目前 issue PR 列表。  

 

一個issue、PR需要的時間   有人會說我們 issue 的 PR request 時間長或者是郵件列表/Slack響應不及時,比如有個用戶很著急,可能是個線上問題,可能上手的時候卡住不能往下進行,而社區沒有人第一時間去回覆,可能隔了半天或者是隔了一天才去回覆,大多數情況都是因為時間並沒有大家想象中的這麼多,所以大家可以儘量把時間預留出來。  

Issue處理的流程及時間

簡單(1-5min): 通過文檔指引, 文字解釋能解決 中等(6-20min): 本地復現, 困難(20min以上):
  • 確定各個版本的差異
  • 確定環境
  • 確定用戶是否能穩定復現
  • 定位代碼
  • 解決問題
  提了一個bug、PR怎麼感謝我 這是一個非常有意思的點,我發現會有些人向社區提了一個Bug/PR,他感覺就是說社區應該感謝他。其實這是對開源的理解有誤,並不是說提交一個東西是對誰好,社區是一個團體,而開源軟體是一大群人在乾的事情,並不是說個人要解決的事情。當然如果你提了PR去解決特定的問題,我個人的角度會由衷地感謝。但如果你覺得自己提了PR之後,然後可以去邀功的,我覺得大可不必。   提了很久沒有實現 其實我們都會將收集到的問題記錄在issue列表或者是discussion裡面。就是你提issue或PR的時候,我們會有一個機制,你可以提前去搜索一下是否有類似的issue,如有的話應該去對應的issue上面評論,社區會定期review,當發現這個需求是很多人都在反饋,可能會在下一個版本實現它。   但如果這是個特定的需求合作只是個別需求,可能只在你們公司幾個小伙伴裡面才有的話,那社區可能就不會去實現這一個特別的需求。因為海豚調度的定位就是要做一個通用的平臺,當然也會儘可能滿足大家的需求,而不是全部的需求。如果你想去實現它,我們也是非常歡迎你貢獻代碼的。   PR處理流程及時間 簡單(1-10min): 一眼看懂並給出建議 中等(11-30min):
  • 判斷原始 issue、修改合理性
  • 是否有更好的方式
  • 是否影響別的功能
  • 單元測試、文檔是否完善
  困難(30min以上):
  • 中等的全部
  • PR拉到本地不斷校驗測試
  • 一個 PR 根據修改模塊重要程度, 可能需要多次、多人 review 保證其正確性
 

開源層級

  有意義的開源 我認為能解決一小部分人的需求,就算一個有意義的開源。它容錯性非常高,甚至它可以不及時更新或者是幾乎不怎麼維護,很少發版。都可以被稱為一個有意義的開源。   前段時間我的個PR,使用了發版頻率很低的一個庫,已經1年沒有發版,但確實能很好地解決我的問題,所以依然會去使用,我覺得這也是一個有意義的開源。   ​ 好的開源 能解決一個領域的問題,解決一大部分人的需求,有一定業界知名度的開源項目。日常聊天中同行大概知道這個軟體,在用戶中口口相傳了,並且這個開源項目是與時俱進的,就像今天的DolphinScheduler,我們會有更長遠的規劃,比如增加k8s、增加對 SaaS 服務的支持等等,這也是我們最近在做的事情。   成功的開源 從業者大部分都知道這個開源項目,已經積累到一定口碑,願意說服公司來使用它,甚至主動會為這個產品做站臺,包括今天參加 Meetup的各位講師,都是為海豚調度站臺的人,我也非常感謝大家對海豚調度的支持。我認為成功的開源還有個特征,就是它的迭代也會比較快,發版也會持續不間斷,這也象徵著項目背後的維護者也會有很多。   我認為,目前DolphinScheduler應該是處在好與成功之間,我們希望能把它做到一個成功的開源項目,希望當有人說到調度,都覺得海豚調度是一個很好的選擇,並且在選型對比的時候,海豚調度一定在對比的行列中。  

 

Flask社區的小故事

  Flask社區的維護者在前一段時間,整個 Flask 的倉庫的issue跟 PR 都被清零了,站在我個人的角度上來說,這是個非常了不起的事情,因為這是一個擁有5W+Star和每月7000 多萬下載量的項目,可以說他們的維護者做了很大的努力。   但是我也看到有一些人在下麵評論,說有很多時候提了 issue,他們這個社區並沒有很好的解決方案,直接把它 close 掉了,有人覺得這是不對的,我沒有辦法去評論他做得對不對,但是我覺得他這是個非常牛逼非常偉大的舉動,他們付出的努力可能遠比我想象中的多。   ​

Praquet社區PMC的感慨

  最近看到這個社區新的 PMC chair 圈已經被選舉出來了,然後新的PMC發圈感謝老一輩的付出。 ​     這也是我前一段時間說在整個開源社區,它是一個不斷疊加、不斷滾動上升的過程。   我們不可能要求幾年前參加社區貢獻的小伙伴還留在社區,因為每個人的發展軌跡或者是成長軌跡,都會有不一樣的關註點,可能他前一段時間還在 A 公司,專註於DolphinScheduler二次開發,去B公司之後可能就乾別的活了。   我們不能要求他換了公司之後,你還要投入社區,但我們心裡還是非常希望他持續投入,當這些暫時離開的小伙伴再次回歸,我們自然是非常歡迎的。   整個社區是在滾動交替的過程的,我們會有老一輩的貢獻者,會有新一輩的貢獻者,人才輩出,長江後浪推前浪,整個社區不斷繁榮,不斷壯大。   以上就是今天的全部分享。謝謝大家   參與貢獻   隨著國內開源的迅猛崛起,Apache DolphinScheduler 社區迎來蓬勃發展,為了做更好用、易用的調度,真誠歡迎熱愛開源的伙伴加入到開源社區中來,為中國開源崛起獻上一份自己的力量,讓本土開源走向全球。 參與 DolphinScheduler 社區有非常多的參與貢獻的方式,包括:   貢獻第一個PR(文檔、代碼) 我們也希望是簡單的,第一個PR用於熟悉提交的流程和社區協作以及感受社區的友好度。   社區彙總了以下適合新手的問題列表:https://github.com/apache/dolphinscheduler/issues/5689   非新手問題列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22   如何參與貢獻鏈接:https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html   來吧,DolphinScheduler開源社區需要您的參與,為中國開源崛起添磚加瓦吧,哪怕只是小小的一塊瓦,匯聚起來的力量也是巨大的。   參與開源可以近距離與各路高手切磋,迅速提升自己的技能,如果您想參與貢獻,我們有個貢獻者種子孵化群,可以添加社區Leonard-ds ,手把手教會您( 貢獻者不分水平高低,有問必答,關鍵是有一顆願意貢獻的心 )。   添加小助手請說明想參與貢獻。   來吧,開源社區非常期待您的參與。     <
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • ♦ 新標準介紹 IEC 60884-1:2022《Plugs and socket-outlets for household and similar purposes - Part 1: General requirements》已於2022年08月04日正式發佈。 本第四版取代了IEC 6088 ...
  • 三國誌11是一款十分經典的策略類游戲,三國誌11威力加強版是《三國誌11》的擴充強化版本,能夠讓已經體驗過《三國誌11》的玩家可以享受到更豐富的游戲內容。採用了氣勢滂沱的水墨風格,同時還追加全新的6段劇情。 詳情:三國誌11威力加強版 for Mac(三國策略游戲) 《三國誌11威力加強版》是日本光 ...
  • Mac投屏軟體怎麼安裝?AIrServer是一款ios投屏到mac的專用軟體,可將iOS上的音頻,視頻,照片,幻燈片和鏡像接收功通過AIrPlay投射到Mac。AIrserver 7 mac版可以實現將手機上的媒體文件以及其他操作投射到電腦上進行操作。使用AIrServer,您現在可以從Mac,iO ...
  • LightWave 3D Mac版是專為Mac用戶設計的三維動畫製作軟體,功能強大,操作簡便,易學易用,無論是初學者還是專業人士都可以滿足所有需求!LightWave 3D 被廣泛應用於電子游戲開發、電視、電影、網頁、廣告、以及印刷圖形和設計等領域。 詳情:LightWave 3D 2020 for ...
  • 本教程主要介紹如何在 Windows 系統上實現 Spire.Cloud 私有化部署。 詳細步驟如下: 一、安裝依賴 我們的私有部署的依賴有 Nodejs、MySQL、Redis 和 RabbitMQ。請確認伺服器安裝了 Nodejs、MySQL、Redis 和 RabbitMQ。 二、部署 Spi ...
  • 排座位問題的思路 表: Seat + + + | Column Name | Type | + + + | id | int | | name | varchar | + + + Id是該表的主鍵列。 該表的每一行都表示學生的姓名和ID。 Id是一個連續的增量。 編寫SQL查詢來交換每兩個連續的學生 ...
  • 所謂Hive的嚴格模式,就是為了避免用戶提交一些惡意SQL,消耗大量資源進而使得運行環境崩潰做出的一些安全性的限制。 ...
  • 近期,由中科軟科技股份有限公司主辦,以“數字保險 科技引擎”為主題的“中國財險科技應用高峰論壇”在北京古北水鎮成功舉辦。論壇聚集400多位來自國內財險公司、國內外保險科技公司的技術專家,騰訊雲資料庫總經理王義成受邀參加,並作為開場嘉賓做主題演講,分享騰訊雲資料庫在金融領域的探索實踐。以下為大會分享實 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...