如何使用 Node.js Stream API 減少伺服器端記憶體消耗?

来源:https://www.cnblogs.com/huaweiyun/archive/2023/01/13/17050165.html
-Advertisement-
Play Games

摘要:讓我們看一個示例,展示在記憶體消耗方面,採用流的編程思路帶來的巨大優越性。 本文分享自華為雲社區《使用 Node.js Stream API 減少伺服器端記憶體消耗的一個具體例子》,作者:Jerry Wang 。 HTTP 響應對象(上面代碼中的 res)也是一個可寫流。這意味著如果我們有一個表示 ...


摘要:讓我們看一個示例,展示在記憶體消耗方面,採用流的編程思路帶來的巨大優越性。

本文分享自華為雲社區《使用 Node.js Stream API 減少伺服器端記憶體消耗的一個具體例子》,作者:Jerry Wang 。

HTTP 響應對象(上面代碼中的 res)也是一個可寫流。這意味著如果我們有一個表示 big.file 內容的可讀流,我們可以將這兩個相互連接起來,併在不消耗約 400 MB 記憶體的情況下獲得幾乎相同的結果。 Node 的 fs 模塊可以使用 createReadStream 方法為我們提供任何文件的可讀流。 我們可以將其通過管道傳遞給響應對象。

讓我們看一個示例,展示在記憶體消耗方面,採用流的編程思路帶來的巨大優越性。

我們先創建一個大文件:

const fs = require('fs');
const file = fs.createWriteStream('./big.file');
for(let i=0; i<= 1e6; i++) {
 file.write('this is a big file.\n');
}
file.end();

fs 模塊可用於使用流介面讀取和寫入文件。 在上面的示例中,我們通過一個迴圈寫入 100 萬行的可寫流,向該 big.file 寫入數據。

運行上面的代碼會生成一個大約 400 MB 的文件。

這是一個簡單的 Node Web 伺服器,旨在專門為 big.file 提供服務:

const fs = require('fs');
const server = require('http').createServer();
server.on('request', (req, res) => {
 fs.readFile('./big.file', (err, data) => {
 if (err) throw err;
 res.end(data);
  });
});
server.listen(8000);

啟動該伺服器,其消耗的初始記憶體為 8 MB 左右。

使用瀏覽器訪問伺服器之後,記憶體消耗躍升至 434.8 MB。

我們基本上將整個 big.file 內容放在記憶體中,然後再將其寫入響應對象。 這是非常低效的。

HTTP 響應對象(上面代碼中的 res)也是一個可寫流。 這意味著如果我們有一個表示 big.file 內容的可讀流,我們可以將這兩個相互連接起來,併在不消耗約 400 MB 記憶體的情況下獲得幾乎相同的結果。

Node 的 fs 模塊可以使用 createReadStream 方法為我們提供任何文件的可讀流。 我們可以將其通過管道傳遞給響應對象:

const fs = require('fs');
const server = require('http').createServer();
server.on('request', (req, res) => {
 const src = fs.createReadStream('./big.file');
 src.pipe(res);
});
server.listen(8000);

我們現在訪問上述重新實現過的伺服器,發現記憶體消耗量大大降低了。

這是因為,當客戶端請求該大文件時,我們一次將其流式傳輸一個塊,這意味著我們根本不會將其整個的龐大文件內容緩衝在記憶體中。 記憶體使用量增加了大約 25 MB,僅此而已。

我們可以把測試場景設計得更極端一些:用 500 萬行而不是 100 萬行重新生成 big.file,這將使文件超過 2 GB,這實際上大於 Node.js 中的預設緩衝區限制。

如果嘗試使用 fs.readFile 提供該文件,則預設情況下會出現 out of memory 的錯誤。

但是使用 fs.createReadStream,將 2 GB 的數據流式傳輸到請求者完全沒有問題,而且最重要的是,進程記憶體使用情況大致相同。

 

點擊關註,第一時間瞭解華為雲新鮮技術~


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 摘要:通過雲服務形式提供資料庫功能的雲資料庫應運而生,但這還僅僅是資料庫變革的開端。 本文分享自華為雲社區《透視華為云云原生資料庫的前世今生及未來演進,能給行業帶來哪些啟發?》,作者:萬佳。 自雲計算出現後,風雲變幻十餘載,硬體、軟體行業都經歷了重構變革所帶來的機遇與激蕩。企業 IT 基礎設施逐漸雲 ...
  • Day1 選擇 595. 大的國家 World表: + + + | Column Name | Type | + + + | name | varchar | | continent | varchar | | area | int | | population | int | | gdp | in ...
  • 如果入職一些中小型公司,往往需要接手一些很“坑”的項目,到底多坑就不牢騷了,只講一下,如果破解這些歷史遺留的項目問題。項目代碼可能短時間無法進行通讀研究,我們就需要從底層資料庫進行挖掘問題,有經驗的老開發工程師,他會開啟Sql Server Profiler 這個功能,進行語句的跟蹤。這個是一個很好 ...
  • 對於一個集中式緩存的分散式能力構建,必須要額外提供一些機制,來保障數據在各個節點上的安全與一致性。本文以Redis為代表,看下集Redis面對上述問題交出的是怎樣一份答卷。 ...
  • 一、系統性能問題五大特性 二、系統性能排查方略 三、MySQL開發規範和常見調優策略 四、MySQL性能管控體系 五、未來展望 ...
  • 安裝 wavesurfer.js 在項目中安裝 wavesurfer.js npm install --save wavesurfer.js 常規方式引入 如果你的根目錄中沒有 components 目錄則需要創建該目錄,併在此目錄中創建 WaveSurfer.vue 內容如下: <template ...
  • 這裡給大家分享我在網上總結出來的一些知識,希望對大家有所幫助 性能優化一直是前端研究的主要課題之一,因為不僅直接影響用戶體驗,對於商業性公司,網頁性能的優劣更關乎流量變現效率的高低。例如 DoubleClick by Google 發現: 如果頁面載入時間超過 3 秒,53% 的用戶會選擇終止當前操 ...
  • 二分查找(Binary Search)是一種在有序數組中查找目標元素的查找演算法。它的基本思路是:在數組的中間元素開始,如果該元素等於目標元素,則查找成功;如果該元素大於目標元素,則在左半部分繼續查找;如果該元素小於目標元素,則在右半部分繼續查找。這樣一直重覆這個過程,直到查找成功或者查找失敗。 ...
一周排行
    -Advertisement-
    Play Games
  • 下麵是一個標準的IDistributedCache用例: public class SomeService(IDistributedCache cache) { public async Task<SomeInformation> GetSomeInformationAsync (string na ...
  • 這個庫提供了在啟動期間實例化已註冊的單例,而不是在首次使用它時實例化。 單例通常在首次使用時創建,這可能會導致響應傳入請求的延遲高於平時。在註冊時創建實例有助於防止第一次Request請求的SLA 以往我們要在註冊的時候實例單例可能會這樣寫: //註冊: services.AddSingleton< ...
  • 最近公司的很多項目都要改單點登錄了,不過大部分都還沒敲定,目前立刻要做的就只有一個比較老的項目 先改一個試試手,主要目標就是最短最快實現功能 首先因為要保留原登錄方式,所以頁面上的改動就是在原來登錄頁面下加一個SSO登錄入口 用超鏈接寫的入口,頁面改造後如下圖: 其中超鏈接的 href="Staff ...
  • Like運算符很好用,特別是它所提供的其中*、?這兩種通配符,在Windows文件系統和各類項目中運用非常廣泛。 但Like運算符僅在VB中支持,在C#中,如何實現呢? 以下是關於LikeString的四種實現方式,其中第四種為Regex正則表達式實現,且在.NET Standard 2.0及以上平... ...
  • 一:背景 1. 講故事 前些天有位朋友找到我,說他們的程式記憶體會偶發性暴漲,自己分析了下是非托管記憶體問題,讓我幫忙看下怎麼回事?哈哈,看到這個dump我還是非常有興趣的,居然還有這種游戲幣自助機類型的程式,下次去大玩家看看他們出幣的機器後端是不是C#寫的?由於dump是linux上的程式,剛好win ...
  • 前言 大家好,我是老馬。很高興遇到你。 我們為 java 開發者實現了 java 版本的 nginx https://github.com/houbb/nginx4j 如果你想知道 servlet 如何處理的,可以參考我的另一個項目: 手寫從零實現簡易版 tomcat minicat 手寫 ngin ...
  • 上一次的介紹,主要圍繞如何統一去捕獲異常,以及為每一種異常添加自己的Mapper實現,並且我們知道,當在ExceptionMapper中返回非200的Response,不支持application/json的響應類型,而是寫死的text/plain類型。 Filter為二方包異常手動捕獲 參考:ht ...
  • 大家好,我是R哥。 今天分享一個爽飛了的面試輔導 case: 這個杭州兄弟空窗期 1 個月+,面試了 6 家公司 0 Offer,不知道問題出在哪,難道是杭州的 IT 崩盤了麽? 報名面試輔導後,經過一個多月的輔導打磨,現在成功入職某上市公司,漲薪 30%+,955 工作制,不咋加班,還不捲。 其他 ...
  • 引入依賴 <!--Freemarker wls--> <dependency> <groupId>org.freemarker</groupId> <artifactId>freemarker</artifactId> <version>2.3.30</version> </dependency> ...
  • 你應如何運行程式 互動式命令模式 開始一個互動式會話 一般是在操作系統命令行下輸入python,且不帶任何參數 系統路徑 如果沒有設置系統的PATH環境變數來包括Python的安裝路徑,可能需要機器上Python可執行文件的完整路徑來代替python 運行的位置:代碼位置 不要輸入的內容:提示符和註 ...