藉助 RAM disk 技術,加快前端工程打包速度

来源:https://www.cnblogs.com/wubaiqing/archive/2019/09/04/11460766.html
-Advertisement-
Play Games

背景以 Jenkins 伺服器為例,在構建內部的這個項目時,CE 每部署一次服務,最快 6 分鐘,最慢將近 13 分鐘左右。遇到多個項目併發打包會因為資源占用等問題時間會延長,甚至出現過幾次 20 分鐘以上的情況。 所以經常收到一些友情提示:比如像這樣的截圖,往往對方只發一張圖,卻什麼都不說: 原因 ...


 

背景
以 Jenkins 伺服器為例,在構建內部的這個項目時,CE 每部署一次服務,最快 6 分鐘,最
慢將近 13 分鐘左右。遇到多個項目併發打包會因為資源占用等問題時間會延長,甚至出現過
幾次 20 分鐘以上的情況。

 

所以經常收到一些友情提示:比如像這樣的截圖,往往對方只發一張圖,卻什麼都不說:

 

原因
在瞭解原因之前,我們先回顧一下歷史,也就是當年為什麼要用 Yarn。從這段歷史中,我們
可以分析出來慢的原因。

Yarn 工具沒有推出之前,通常是使用 NPM 進行依賴管理的,早期的 NPM 它有一個致命的
缺陷;需要等一個包,完全安裝好後,在對下一個包做處理;它沒有併發能力,所以才不會
涉及到高 IO 的問題,犧牲的是等待時間。

NPM 遇到相同版本的依賴庫時,會重新下載一遍這個包;因為它原生不具備緩存能力,所以
只能重新下載。這也不會涉及 IO 問題,因為它犧牲了下載時間和 node_modules 文件夾的體
(這裡是提前引用概念,下麵第四條中有介紹)。

 

所以當時,我們引用了 Yarn 工具來提升安裝依賴的速度。

(1) 它最特殊的是,具備鎖(lock)文件,你從哪下載文件,你團隊的人就從哪下載文件,避
免包版本不一致的問題。能解決我線下好使啊,怎麼到你那就不行,諸如此類的問題。

(2) 會緩存它下載的每個包,所以無需重覆下載。

(3) 具備離線模式,之前安裝過的包會被寫入緩存目錄,以後安裝就直接從緩存中複製過來
這樣做的本質是減少重覆下載,減少不必要的網路請求。

(4) 為了減少 node_modules 體積,會對依賴次數做選舉,把引用頻率高的類庫放到頂級目錄。

 

我們已經瞭解,它是依賴文件緩存的方式,提升了效率問題;僅僅是做選舉,就已經引發了
高頻 IO 的操作,因為它要分析引用次數來回的移動目錄。Webpack 打包構建情況也是類似,
具體就不在展開細說。

 

現象
所以我們有了一個印象,前端工程下載後,會做很多 IO 操作。這對 SSD 磁碟很有效。如果
是機械硬碟,遇到高頻讀寫,性能就會很慢。這是 Yarn 在做依賴庫選舉而優化磁碟占用時,
機械硬碟所消耗的時間耗時 13 分鐘:


這種情況我們很難避免,只有幾種選擇:
1. 後退,使用 NPM 工具,選擇等待犧牲網路下載時間,這條路走不通。
2. Jenkins 更換 SSD 磁碟,更換硬體實際上是最好的方案,短期內也走不通。
3. 優化 Yarn 依賴庫的選舉方案,Yarn PnP 還不太成熟,我們還在調研中,有坑,也走不通。


解決方案
當時的情況是,正常的方案都無法走通了。直到有一天我的同事提供一個思路,說他當年在 Windows
下片時,為了加快 Copy 速度把記憶體當磁碟用了,Windows 設置這個東西很簡單。你們看看
Linux 支不支持。隨後我們就開始調研,本機測試後發現可行。

然後我們以線下的的環境做試點,部署腳本改好了測試近一周,發現可行。

 

優化前,最高 23 分鐘(開篇第一張圖),現在平均 3 分鐘

另一個項目優化前,平均 8 分鐘:

優化後,平均 49 秒

 

本次主要是給大家,提供一個解決 IO 問題的思路。我們使用的是 RAM disk 中的 temfs
方案。技術對比看下方鏈接的文章就行,很簡單:

 

參考鏈接
https://baike.baidu.com/item/tmpfs/1476960?fr=aladdin
https://blog.csdn.net/wz947324/article/details/80007122


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 本篇關於 Linux 的一些安全知識,主要就是與賬號相關的安全。 ...
  • nginx + php fpm 搭建owncloud 本文首發:https://www.cnblogs.com/somata/p/NgnixAndPhp fpmBuildOwncloud.html 今天新研究的nginx,用owncloud來測試一下學的怎麼樣。大部分都還是按之前的那篇來《 "Cen ...
  • centos7 搭建完全分散式 Hadoop 環境 SSR 前言 本次教程是以先創建 四台虛擬機 為基礎,再配置好一臺虛擬機的情況下,直接複製文件到另外的虛擬機中(這樣做大大簡化了安裝流程) 且本次教程的jdk 和 hadoop 文件目錄 均在 /root/apps(當然也可以根據個人情況進行選擇) ...
  • 準備工具:IDEA jdk1.8 Navicat for MySQL Postman 一、新建Project 選擇依賴:mybatis Web Mysql JDBC 項目結構 pom依賴: 1 <?xml version="1.0" encoding="UTF-8"?> 2 <project xml ...
  • 容器命令: 更多更全面的Docker命令大全 ...
  • openldap 之 客戶端部署 [root@client ~]# cat /etc/yum.repos.d/base.repo[os]name=osbaseurl=https://mirrors.tuna.tsinghua.edu.cn/centos/7/os/x86_64/enabled=1gp ...
  • 由於在微信之前,多年使用QQ的緣故,已經習慣了使用Ctrl+Alt+A進行截圖,雖然QQ後來還專門提供了TIM(Office QQ),但仍然漸漸的以微信為主,TIM甚至已經很少登錄,之前登錄也僅僅是為了使用截圖,所以當時覺得可以找個替代者,沒必要因為個截圖小工具每天登錄它,便強迫自己使用Win10自 ...
  • 目錄 1. 系統服務管理 1. 文件管理 1. 查看日誌 1. 壓縮與解壓 1. 磁碟和網路管理 1. 防火牆 1. ftp操作 1. 軟體的安裝與管理 1. 其他 系統服務管理 systemctl 輸出系統中各個服務的狀態: systemctl list units type=service 查看 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...