從Multirepo到Monorepo 袋鼠雲數棧前端研發效率提升探索之路

来源:https://www.cnblogs.com/DTinsight/archive/2022/08/25/16625127.html
-Advertisement-
Play Games

一、困境頻生 前端代碼管理何解? 前端代碼管理一直是困擾不少前端開發團隊的難題,從開發到發佈的整體工作流程中,除了常規的技術問題外,往往還伴隨著溝通成本、維護成本及協作效率等問題。這些問題在團隊規模較小的時候可能不太明顯,但是當團隊規模變大時就矛盾越發凸顯。 數棧前端開發團隊負責著離線開發,實時開發 ...


一、困境頻生 前端代碼管理何解?

前端代碼管理一直是困擾不少前端開發團隊的難題,從開發到發佈的整體工作流程中,除了常規的技術問題外,往往還伴隨著溝通成本、維護成本及協作效率等問題。這些問題在團隊規模較小的時候可能不太明顯,但是當團隊規模變大時就矛盾越發凸顯。

數棧前端開發團隊負責著離線開發,實時開發,數據服務等多條產品線的開發和維護工作,面對眾多的產品線,如何合理的管理代碼,成了團隊需要思考的問題,雖然藉助了Multirepo進行管理,但還是遇到了許多難題:

● 私有源維護成本增加

為復用相關業務邏輯,團隊內部抽象出一些私有包,由於不能在公網暴露,為了管理這些私有包團隊使用了私有源,但由於搭建私有源伺服器資源問題,私有源常常不穩定且下載速度慢,特別是對於需要源碼交付的某些客戶來說,安裝這些私有包更會遇到各種問題,交付的時間和人力成本大大升高。

● 邏輯難復用,重覆造輪子

各個倉庫中會抽象出同一功能的組件,組件之間的共用往往難以同步,造成了「重覆造輪子」等現象。

● 工具/配置不統一,溝通成本高

各個倉庫所使用的工具和配置沒有進行統一,在進行配置更新等的過程中,往往需要同步到各個產品線負責人,溝通成本較高。

這些問題嚴重拖慢了數棧前端團隊從開發到發佈的整體流程,同時增加了團隊的維護成本和溝通成本,如何尋找新的工具解決這些問題已迫在眉睫,在進行了深入調研和多次討論的過程中,新的項目管理方式Monorepo 在這時映入了我們的眼帘。

二、MultirepoVSMonorepo

那麼Multirepo和Monorepo到底是什麼呢?其實他們分別代表的是兩種前端代碼管理方式:

Multirepo

Multirepo是一種分散式的前端代碼管理方式,按照功能或其他維度,將項目拆分為不同模塊並單獨維護於各自倉庫中。作為傳統的管理方式,Multirepo具備靈活度高、安全控制等特點,但同時也帶了管理成本和寫作成本的增加,依賴升級等問題。

Monorepo

Monorepo是集中式管理的前端代碼管理方式,將所有的項目在集中一個代碼倉庫中進行管理,嚴格的統一和收歸,有利於統一的升級和管理。作為新型的管理方式,Monorepo有效降低了運營及協作成本,但一個代碼倉庫的管理模式帶來了項目體積的上升,獲取時間延長,同時安全性也有所下降。

file

上圖為Multirepo和Monorepo對比圖,從圖中我們可以簡要歸納:

  • Multirepo是由多個倉庫組成的項目管理方式,每個倉庫有著獨立的工作流、組件與配置

  • Monorepo則將不同倉庫整合成為一個倉庫,並共用工作流、組件與配置。

兩種管理方式各有千秋,不能簡單的定義哪種方式更好,但Monorepo的共用機制、統一管理及協作成本低等優勢,顯然更符合深陷複雜產品線挑戰的數棧前端團隊的需求,選擇Monorepo也是團隊探索效率提升的必然道路。

三、合適纔最好 Monorepo方案規劃

確定了新的管理方式後,接下來面對的就是如何與數棧相適配的問題。市面上關於Monorepo的解決方案和相關工具有很多,雖然rush、nx 之類的工具能夠在特定的領域提供較好的解決方案,但卻並不符合我們的實際需求。

在調研了社區的各種Monorepo實現和解決方案之後,結合我們自身的業務場景和需求,最終我們選擇了pnpm和turborepo作為底層的包管理工具和任務調度工具,因為只有最合適的產品才是最好的解決方案。

● 包管理工具-pnpm

在前端社區中,npm、 yarn、 pnpm 三個包管理工具三足鼎立,而我們最終選擇了pnpm原因在於:pnpm對monorepo有著較好的支持,同時對比其他兩個包管理工具,pnpm在性能等各個方面有著顯著的優勢:

file

● 任務調度工具-turborepo

任務調度方面,社區中也存在很多優秀的工具,如 rush、nx、lerna、turborepo等,綜合對比之後,我們選擇了配置簡單易懂、調度更加科學的turborepo作為我們的任務調度工具:

file

四、不斷探索 Monorepo落地實踐

在確定了底層包管理工具和任務調度工具後,數棧&Monorepo整體架構方案也就明確了:

file

Monorepo解決了之前使用Multirepo時存在的問題,幫助我們更好的管理代碼,接下來我們將結合Multirepo存在的問題來詳細說明Monorepo是如何在數棧產品中落地的。

● 統一配置

Multirepo存在的一個顯著問題是配置的不統一導致的難以維護,所以我們需要對格式化、代碼檢測、打包等相關流程的配置進行規範化和統一,同時針對不同產品線的細微差別,也需要支持其靈活的擴展。因此我們在Monorepo倉庫的根目錄提供了統一的基礎配置,同時如需要進行調整,不同產品線可以繼承該配置併進行必要的修改。

● 邏輯復用

Multirepo存在的另一個顯著問題就是邏輯難以復用,遷移之前的邏輯復用主要是靠抽象到私有包併發布,或者直接複製粘貼,整體效率低,流程長且難以維護。遷移之後我們對各種配置等進行了統一的同時,也將公用的業務邏輯和組件整合到了倉庫根目錄的packages目錄下,同時通過pnpm的 workspace protocal 鏈接到各個產品線中以復用。這樣不僅解決了邏輯復用的相關問題,同時私有源也不用進行維護,Multirepo下的私有源維護成本問題得以解決。

● 許可權校驗

當基礎配置和公共邏輯被暴露出來之後,就面臨著這些內容可以被隨意修改的問題,而這往往會影響所有的產品線,稍有不慎會有造成巨大損失,因此我們需要給這些重要的內容施以限制和保護。

我們基於git hooks做了一些工作,在pre-commit和pre-push階段分別對許可權和分支名等內容進行了校驗,並定義了Maintainer、Owner、Deverloper 三個角色,對應的許可權分別為:

  • Maintainer: 擁有全部許可權,可以修改包括基礎配置文件等的所有內容。

  • Owner: 各產品線或者公共組件主要負責人,擁有對應範圍內的所有許可權。

  • Developer: 該產品線或者公共組件的輔助開發人員,只擁有包括開發新功能等的部分產品線許可權。

角色許可權進行明確的劃分之後,我們可以將基礎配置和公共邏輯等內容的修改交給更有經驗的工程師。同時許可權分配配置維護在本地,這樣可以更清晰的瞭解不同產品線對應的人員,方便溝通。

● 自動化遷移

從 Multirepo遷移到 Monorepo如果採用手動的方式逐個遷移會有如下問題:

1.遷移前的各產品線倉庫存在多個版本需要維護,手動遷移多個版本工作內容重覆且效率較低。

2.人為的操作往往會出錯,且出錯時溝通成本較高。

因此我們在遷移的過程中實現了自動化的遷移流程,主要流程如下:

1.自動克隆原倉庫的目標分支內容到Monorepo刪除需要統一的配置如commitlint等配置;

2.刪除需要統一的配置如commitlint等配置;

3.刪除babel, webpack等相關重覆依賴;

4.檢測並替換通過pnpm的 workspace protocal 鏈接的內部依賴引入方式;

5.刪除yarn,npm相關的lock文件,並安裝依賴生成最新的pnpm-lock.yaml.

自動化遷移的實現,保證了遷移過程的快速且順利的進行,各產品線的同學可以較為平滑的過渡到新的Monorepo項目管理方式。

五、寫在最後

數棧前端團隊在今年上半年正式遷移到了Monorepo,解決了之前Multirepo項目管理方式下的私有源維護成本較高,工具/配置等不統一,邏輯復用鏈路長且難以維護等問題。在遷移的過程中,實現了大部分遷移工作的自動化進行,並對重要的配置等進行了許可權校驗以進行限制和保護。整體提升了數棧前端團隊研發的效率,降低了協作和溝通成本,有效實現降本增效。

袋鼠雲開源框架釘釘技術交流qun(30537511),歡迎對大數據開源項目有興趣的同學加入交流最新技術信息,開源項目庫地址:https://github.com/DTStack


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 第一章 (p1-p10) 1、安裝環境 1、配置環境變數到/bin 2、創建my.ini.txt目錄 輸入內容:(直接複製) 【 client 】 port=3306 default-character-set=utf8 [mysqld] #設置為自己MYSQL的目錄 basedir=D:\AppG ...
  • ###前置條件:已安裝nodejs,安裝詳情可參考鏈接:https://www.cnblogs.com/zhen9436/p/16617383.html 1. cmd視窗安裝newman npm install -g newman 2. cmd視窗安裝newman-html報告 nnpm insta ...
  • 上一期我們介紹了幾種常見的構建鏡像方式,並給出了功能對比、決策樹等作為選型參考。本期我們將演示如何使用 Alpine 構建一個 Redis 鏡像。 Alpine 系統使用 apk 包管理工具,文中相關 apk 使用技巧不再贅述。 我們將構建鏡像 Dockerfile 中的幾個部分單獨講解,最後提供一 ...
  • 摘要:本文主要著重介紹資源池資源監控以及用戶資源監控。 本文分享自華為雲社區《GaussDB(DWS)資源監控之用戶、隊列資源監控》,作者: 一隻菜菜鳥。 GaussDB(DWS)資源監控功能包含實例資源監控、記憶體資源監控、資源池資源監控、查詢監控以及用戶資源監控,本文主要著重介紹資源池資源監控以及 ...
  • 1 背景 京東SRC(Security Response Center)收錄大量外部白帽子提交的sql註入漏洞,漏洞發生的原因多為sql語句拼接和Mybatis使用不當導致。 2 手工檢測 2.1 前置知識 mysql5.0以上版本中存在一個重要的系統資料庫information_schema,通過 ...
  • GreatSQL社區原創內容未經授權不得隨意使用,轉載請聯繫小編並註明來源。 GreatSQL是MySQL的國產分支版本,使用上與MySQL一致。 cgroups 是Linux內核提供的可以限制進程所使用資源的機制,可以對 cpu,記憶體等資源實現精細化的控制. 什麼是cgroups 控制族群(cgr ...
  • 摘要:SPL實現了更優演算法,性能遠遠超過存儲過程,能顯著提高單機計算效率,非常適合跑批計算。 本文分享自華為雲社區《Java開源專業計算引擎:跑批真的這麼難嗎?》,作者: Java李楊勇。 業務系統產生的明細數據通常要經過加工處理,按照一定邏輯計算成需要的結果,用以支持企業的經營活動。這類數據加工任 ...
  • 在日常的數據分析中,經常會遇到一類問題:計算從某個時間點開始的累計數據,但在某些時間點又是沒有數據的,需得到的結果是每個時間點的累計數據。 比如以下情況,左邊是原始數據,右邊是期望輸出數據: 因為大部分資料庫不像其他編程語言,沒有函數式編程,不能直接for迴圈。如果支持游標迴圈,則比較容易實現。 下 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...