性能優化,實踐淺談

来源:https://www.cnblogs.com/uncleguo/archive/2022/04/06/16106699.html
-Advertisement-
Play Games

當經歷了無數的日日夜夜,朝九晚九,攻剋了無數難關,終於將系統預定功能開發完成,通過測試,部署上線後。你是否會感覺志得意滿,到達了人生巔峰,高唱無敵是多麼寂寞。 現實情況是,如果你這個系統,業務沒有做起來,沒啥人用,huan則罷liao。如果有越來越多的人,持續使用。隨著用戶增多,業務數據增多,那系統 ...


  當經歷了無數的日日夜夜,朝九晚九,攻剋了無數難關,終於將系統預定功能開發完成,通過測試,部署上線後。你是否會感覺志得意滿,到達了人生巔峰,高唱無敵是多麼寂寞。

  現實情況是,如果你這個系統,業務沒有做起來,沒啥人用,huan則罷liao。如果有越來越多的人,持續使用。隨著用戶增多,業務數據增多,那系統一定會暴露一些性能問題。而對這些問題的優化解決,以及監測,往往需要比開發具體功能,更高更全面的技術素質及能力。

  一、性能問題監控

  鍋叔雲:性能問題是具有隱蔽性能,伺服器硬體性能良好不等於系統服務性能良好。這麼說可能經驗欠缺的同學難於理解。不就是系統慢麽,用戶會告訴我們啊? 我們有伺服器監控啊,如果cpu,或者記憶體滿了,會有監控報警啊?

  首先,系統慢用戶未必會告訴你,如果比你的競品慢太多,用戶會用腳投票。然後,如果你開發的系統在把硬體跑到瓶頸之前都快如閃電,請收下鍋叔的膝蓋-_-|| 。

  常見的性能問題,往往是欠缺性能考慮引起的,響應巨慢的同時,硬體利用率可能5%不到,這類問題也是此次鍋叔主要討論的。

  經驗上來說,對於性能問題的監控預警是難於解決具體的性能問題的。實踐中我們需要一些日常機制來篩查系統性能問題,避免病入膏肓。

  資料庫慢查詢日誌——是一個重要的監控途徑,其中記錄了耗時較長的資料庫操作記錄。可以通過手動或自動分析慢查詢日誌,篩查可能存在的性能問題,主流資料庫都支持慢查詢日誌生成,具體的配置方式此處不做贅述。非統計類的數據操作通常應該在100ms以下。

  介面性能監控——後臺系統通常是通過服務介面向外提供服務的,前端頁面或者移動設備是通過調用服務端介面來完成對應操作的。介面的粒度是大於資料庫操作的,一個介面調用可能包含很多個資料庫調用。介面性能更接近於用戶體驗,因為多數時候用戶的一個操作動作會對應一個服務介面(如保存,確認)。在不存在慢查詢的時候,介面性能可能也會不滿足要求,可能的原因如,一個介面迴圈調用了1000次資料庫操作,或者調用了一些第三方介面等。對介面的性能監測原理上就是用調用結束的時間減去進入的時間點計算總耗時,並把這個耗時記錄下來,以便時候篩查。Spring的切片能力可以方便的實現該需求。非報表,導出類介面,鍋叔認為應當在1秒內完成為佳。

  消息隊列——如果你的系統中使用到了類似消息隊列的機制,對隊列中排隊的消息數,同樣應當進行監測,消息如果發生了堆積,說明在這個階段內,系統的整體消費能力已經不能滿足輸出要求了。

  以上三個監控維度是互不重疊的,應該同時進行。

  二、性能問題的定位

  除了資料庫慢查詢日誌可以明確提示具體SQL緩慢外,上面另外兩種情況所能直接提示定位到的粒度都比較大,對應一個介面或者一段處理過程代碼。

  定位更細問題的具體方法也很容易想到,即分段輸出各階段的耗時。如對於一個100行的方法,可以在第30,60,100,分別計算並日誌輸出這3段執行耗費的時間。重覆進行,就最終可以定位到將問題所在。

  性能問題的定位需要有一些性能常識,所謂性能常識即,通常做一件事情需要完成的時間,不用很準確,但量級要清楚。比如一次資料庫操作,一般在數十毫秒,與記憶體的交互在納秒或者微秒間,與第三方系統的介面可能在數百毫秒到幾秒之間。有了這些經驗我們才能夠對耗時是否合理有個基本判斷。比如對於一個50毫秒的資料庫操作,迴圈100次就是5秒,已經很慢了,可以考慮是不是可以合併成一次批量操作。

  三、應用性能優化方法

  合併遠程調用——根據經驗,實踐中因為迴圈進行資料庫操作,或對第三方系統介面進行迴圈調用,是引起性能問題的非常非常常見的原因。對於此類問題的優化方式通常就是優化調用的方式,使用批量操作。例如,如果需要去資料庫中查詢鍋叔近一年的打卡記錄,可以用準確日期,查詢365次,也可以用時間範圍一次查詢出365條,後面的方法肯定比前面的快很多。如果方法比較複雜,冗長,可以從中抽取所需的公共數據,進行統一的批量查詢取出,放入記憶體備用,會比哪裡用到哪裡查要快很多。同樣寫入,修改操作,也儘量批量進行。

  使用緩存——對於訪問頻率較高的數據,可以在記憶體中存儲,利用記憶體存取要快於硬碟很多的特性,來進行訪問加速。常見的場景如各種計數——鍋叔的文章有多少次瀏覽之類。

  多線程並行——通過多線程把串列修改為並行。例如與設備通信查詢狀態,逐個查詢和並行同時向設備查詢,後者要快得多。現實中多數的操作耗時是在IO上,因此多線程方式可以有效提高性能,避免“空”等。多線程並行需要註意做好線程同步。

  四、資料庫性能優化

  資料庫是一個現代系統都會依賴的組件,對他的性能問題解決也是開發人員需要掌握的。

  增加索引——加索引,是資料庫優化的首選方案。原理是利用空間換時間。現在存儲的成本下降非常快,基本上可以做到常規業務數據查詢都可以走索引。對於複雜的sql 有時需要分析下怎麼加索引,可以通過執行計劃來分析。

  鎖等待——資料庫是有鎖概念的,一個事務占有X鎖未提交前,其他事務是不能夠對該記錄進行操作的,只能等待。未使用唯一索引的資料庫寫操作,可能會對全表加寫鎖,在提交前,全表記錄無法操作。因此對資料庫鎖,應當有所認識,儘量晚上鎖,儘快解鎖,儘量小範圍上鎖。推論可得,實踐中,如果是長事務,儘量把更新操作後移,把耗時的非事務性操作(如無依賴的第三方介面等),設法從事務中移除。

  事務隔離級別——選擇合適的事務隔離級別,事務隔離級別與資料庫鎖有關,如最嚴格的串列隔離級別,所有的事務將串列進行。廣泛使用的資料庫MYSQL,其預設隔離級別為"可重覆讀",但帶來了間隙鎖的限制,增加了鎖搶占的概率。如無特別,可以根據實際情況調整為“讀提交”

  中間結果——本質可以理解為資料庫層次的緩存,如果一些結果從全量記錄中計算數據量巨大,耗時必然很長。可以分批計算,存儲中間結果。以加速數據取得。如計算鍋叔家近一年的總支出,可以通過每筆記錄加起來,也可以每個月算一次,這樣只需要查詢近12個月的支出加起來就可以啦。

  

本文來自博客園,作者:鍋叔
轉載請註明原文鏈接:https://www.cnblogs.com/uncleguo/p/16106699.html


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 有時大家可能會想為自己的博客增添一些色彩,但這種熱情卻常常因繁雜的配置步驟飽受消磨。CNBlogX是一套項目模板及腳手架的合集,用於快速搭建博客園的頁面定製腳本開發環境。使用方式也非常簡單,專註於自己的代碼即可。讓我們開始吧! ...
  • 颱風天要帶多少錢出門? 答案是:四千萬。因為颱風天沒四(事)千萬不要出門 這不最近又到了颱風頻發的季節。作為沒有四千萬的沿海人,多關註一下天氣預報還是有必要的。 那麼今天呢,就給大家講一個:用Python繪製颱風路徑軌跡圖的可視化案例。 此案例中用到的核心繪圖庫是:plotly。plotly庫是一個 ...
  • 該項目綜合的知識點較多,包括記憶體管理,面向對象的三大特性封裝、繼承、多態都有涉及到,而且包括文件操作,現分別進行總結。 0、項目需求如下: 1、主函數框架 1 int main() 2 { 3 //實例化管理者對象 4 WorkerManager wm; 5 //用戶選擇 6 int choice ...
  • 前提說明 格式說明:以[signed] int 為例 表明該類型的完整表達是 signed int 只不過signed可以省略 所以 int 也代表 signed int 類型 signed和unsigned說明: signed 代表有符號,最高位將被看做為符號位。 符號位為1時,代表這個數是負數( ...
  • 二維數組與稀疏數組的互轉 轉換思路 二維數組轉稀疏數組的思路: 遍歷原始的二維數組,得到有效數據的個數sum,根據sum就可以創建稀疏數組sparseArr int[sum+1][3] 將二維數組的有效數據存入到稀疏數組 稀疏數組轉原始的二維數組的思路: 先讀取稀疏數組的第一行,根據第一行的數據,創 ...
  • 前言 女朋友是一個老師,在工作中經常會遇到需要錄屏記錄自己操作,方便後續開發同學定位。因為錄屏軟體動不動就開始收費,所以她經常更換錄屏軟體。閑暇之餘,我就覺得手癢,感覺可以用萬能的 Python 來解決她的煩惱。 實現思路 我上網搜尋了一下相關知識,錄製視頻基本上都用的圖像處理庫 PIL 的 Ima ...
  • 位元組緩衝流 1.BufferedOutputStream:該類實現緩衝輸出流,通過設置這樣的輸出流,應用程式可以向底層輸出流寫入位元組,而不必為寫入的每個位元組導致底層系統的調用 2.BufferedInputStream:創建BufferedIntputStream將創建一個內部緩衝去數組,當從流中讀 ...
  • 目錄 一.簡介 二.猜你喜歡 零基礎 OpenGL (ES) 學習路線推薦 : OpenGL (ES) 學習目錄 >> OpenGL ES 基礎 零基礎 OpenGL (ES) 學習路線推薦 : OpenGL (ES) 學習目錄 >> OpenGL ES 轉場 零基礎 OpenGL (ES) 學習路 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...