Node性能如何進行監控以及優化?

来源:https://www.cnblogs.com/smileZAZ/p/18220892
-Advertisement-
Play Games

一、 是什麼 Node作為一門服務端語言,性能方面尤為重要,其衡量指標一般有如下: CPU 記憶體 I/O 網路 CPU 主要分成了兩部分: CPU負載:在某個時間段內,占用以及等待CPU的進程總數 CPU使用率:CPU時間占用狀況,等於 1 - 空閑CPU時間(idle time) / CPU總時間 ...


 

 

一、 是什麼

Node作為一門服務端語言,性能方面尤為重要,其衡量指標一般有如下:

  • CPU
  • 記憶體
  • I/O
  • 網路

CPU

主要分成了兩部分:

  • CPU負載:在某個時間段內,占用以及等待CPU的進程總數
  • CPU使用率:CPU時間占用狀況,等於 1 - 空閑CPU時間(idle time) / CPU總時間

這兩個指標都是用來評估系統當前CPU的繁忙程度的量化指標

Node應用一般不會消耗很多的CPU,如果CPU占用率高,則表明應用存在很多同步操作,導致非同步任務回調被阻塞

記憶體指標

記憶體是一個非常容易量化的指標。 記憶體占用率是評判一個系統的記憶體瓶頸的常見指標。 對於Node來說,內部記憶體堆棧的使用狀態也是一個可以量化的指標

// /app/lib/memory.js
const os = require('os');
// 獲取當前Node記憶體堆棧情況
const { rss, heapUsed, heapTotal } = process.memoryUsage();
// 獲取系統空閑記憶體
const sysFree = os.freemem();
// 獲取系統總記憶體
const sysTotal = os.totalmem();

module.exports = {
  memory: () => {
    return {
      sys: 1 - sysFree / sysTotal,  // 系統記憶體占用率
      heap: heapUsed / headTotal,   // Node堆記憶體占用率
      node: rss / sysTotal,         // Node占用系統記憶體的比例
    }
  }
}
  • rss:表示node進程占用的記憶體總量。
  • heapTotal:表示堆記憶體的總量。
  • heapUsed:實際堆記憶體的使用量。
  • external :外部程式的記憶體使用量,包含Node核心的C++程式的記憶體使用量

Node中,一個進程的最大記憶體容量為1.5GB。因此我們需要減少記憶體泄露

磁碟 I/O

硬碟的IO 開銷是非常昂貴的,硬碟 IO 花費的 CPU 時鐘周期是記憶體的 164000 倍

記憶體 IO比磁碟IO 快非常多,所以使用記憶體緩存數據是有效的優化方法。常用的工具如 redismemcached

並不是所有數據都需要緩存,訪問頻率高,生成代價比較高的才考慮是否緩存,也就是說影響你性能瓶頸的考慮去緩存,並且而且緩存還有緩存雪崩、緩存穿透等問題要解決

二、如何監控

關於性能方面的監控,一般情況都需要藉助工具來實現

這裡採用Easy-Monitor 2.0,其是輕量級的 Node.js 項目內核性能監控 + 分析工具,在預設模式下,只需要在項目入口文件 require 一次,無需改動任何業務代碼即可開啟內核級別的性能監控分析

使用方法如下:

在你的項目入口文件中按照如下方式引入,當然請傳入你的項目名稱:

const easyMonitor = require('easy-monitor');
easyMonitor('你的項目名稱');

打開你的瀏覽器,訪問 http://localhost:12333 ,即可看到進程界面

關於定製化開發、通用配置項以及如何動態更新配置項詳見官方文檔

三、如何優化

關於Node的性能優化的方式有:

  • 使用最新版本Node.js
  • 正確使用流 Stream
  • 代碼層面優化
  • 記憶體管理優化

使用最新版本Node.js

每個版本的性能提升主要來自於兩個方面:

  • V8 的版本更新
  • Node.js 內部代碼的更新優化

正確使用流 Stream

Node中,很多對象都實現了流,對於一個大文件可以通過流的形式發送,不需要將其完全讀入記憶體

const http = require('http');
const fs = require('fs');

// bad
http.createServer(function (req, res) {
    fs.readFile(__dirname + '/data.txt', function (err, data) {
        res.end(data);
    });
});

// good
http.createServer(function (req, res) {
    const stream = fs.createReadStream(__dirname + '/data.txt');
    stream.pipe(res);
});

代碼層面優化

合併查詢,將多次查詢合併一次,減少資料庫的查詢次數

// bad
for user_id in userIds 
     let account = user_account.findOne(user_id)

// good
const user_account_map = {}   // 註意這個對象將會消耗大量記憶體。
user_account.find(user_id in user_ids).forEach(account){
    user_account_map[account.user_id] =  account
}
for user_id in userIds 
    var account = user_account_map[user_id]

記憶體管理優化

在 V8 中,主要將記憶體分為新生代和老生代兩代:

  • 新生代:對象的存活時間較短。新生對象或只經過一次垃圾回收的對象
  • 老生代:對象存活時間較長。經歷過一次或多次垃圾回收的對象

若新生代記憶體空間不夠,直接分配到老生代

通過減少記憶體占用,可以提高伺服器的性能。如果有記憶體泄露,也會導致大量的對象存儲到老生代中,伺服器性能會大大降低

如下麵情況:

const buffer = fs.readFileSync(__dirname + '/source/index.htm');

app.use(
    mount('/', async (ctx) => {
        ctx.status = 200;
        ctx.type = 'html';
        ctx.body = buffer;
        leak.push(fs.readFileSync(__dirname + '/source/index.htm'));
    })
);

const leak = [];

leak的記憶體非常大,造成記憶體泄露,應當避免這樣的操作,通過減少記憶體使用,是提高服務性能的手段之一

而節省記憶體最好的方式是使用池,其將頻用、可復用對象存儲起來,減少創建和銷毀操作

例如有個圖片請求介面,每次請求,都需要用到類。若每次都需要重新new這些類,並不是很合適,在大量請求時,頻繁創建和銷毀這些類,造成記憶體抖動

使用對象池的機制,對這種頻繁需要創建和銷毀的對象保存在一個對象池中。每次用到該對象時,就取對象池空閑的對象,並對它進行初始化操作,從而提高框架的性能

參考文獻

  • https://segmentfault.com/a/1190000039327565
  • https://zhuanlan.zhihu.com/p/50055740
  • https://segmentfault.com/a/1190000010231628

 

如果對您有所幫助,歡迎您點個關註,我會定時更新技術文檔,大家一起討論學習,一起進步。

 

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 恭喜Apache SeaTunnel社區又迎來一位PMC Member@liugddx!在社區持續活躍的兩年間,大家經常看到這位開源愛好者出現在社區的各種活動中,為項目和社區發展添磚加瓦。如今成為項目PMC Member,意味著在社區中的責任更重了,他有什麼感想呢?對於社區未來的發展,他希望從哪些角 ...
  • 轉載自劉茫茫看山 問題背景 某天我們的租戶反饋資料庫連接缺少必要的驅動,我們通過日誌查看確實是缺少部分資料庫的驅動,因為DolphinScheduler預設只帶了Oracle和MySQL的驅動,並且需要將pom文件中的test模式去掉才可以在打包的時候引入。我們的任務量比較大,在3.0存在容錯機制的 ...
  • 參數介紹: MySQL社區版MySQL 5.7.8開始,新增了MAX_EXECUTION_TIME這個系統變數,它用來限制SQL語句的執行時間,確切來說是限制只讀SELECT語句。如果查詢語句的執行時長超過這個閾值,MySQL將自動停止該SQL語句的執行。如果其值為 0,表示不啟用該超時限制功能。該 ...
  • 前言 前端函數和應用側函數相互調用是指前端頁面中的JavaScript函數和應用程式側的函數之間進行相互調用。 在前端開發中,常常會使用JavaScript函數來處理用戶的交互事件和操作。這些函數可以在前端頁面中定義,例如通過事件監聽器或者按鈕點擊事件來觸發函數的執行。這些前端函數可以使用DOM ...
  • 前言 Web是一種基於互聯網的技術和資源的網路服務系統。它是指由許多互連的電腦組成的全球性電腦網路,使用戶能夠通過瀏覽器訪問和互動式使用各種信息和資源,如網頁、文檔、圖片、視頻、音頻等。通過Web,用戶可以瀏覽網頁、發送電子郵件、參與線上社交網路、進行線上購物等各種活動。Web的核心技術包括 ...
  • 在 recyclerview 中,想要無論滑動到哪,每次按遙控器落焦,需要落焦在左側第一個 item 上面,如果不能觸屏還好,觸屏會導致焦點丟失 根據系統的反饋,如果你滑動了列表,剛好列表的 item 卡在一半的位置,此時系統的落焦規則,不一定會到第一個 之前試過一個效果一般的方案,就是通過 fin ...
  • 在上一篇電腦啟動過程文章中介紹了電腦啟動的基本流程,本篇文章主要介紹Linux內核Kernel的啟動過程。 一、內核啟動的基本流程 sequenceDiagram participant Bootloader participant Kernel participant InitProcess ...
  • title: Vue3使用Composition API實現響應式 date: 2024/5/29 下午8:10:24 updated: 2024/5/29 下午8:10:24 categories: 前端開發 tags: Vue3 Composition Refs Reactive Watch L ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...