記一次asp.net 8 伺服器爆滿的解決過程

来源:https://www.cnblogs.com/kugar/p/18199022
-Advertisement-
Play Games

前言 插件化的需求主要源於對軟體架構靈活性的追求,特別是在開發大型、複雜或需要不斷更新的軟體系統時,插件化可以提高軟體系統的可擴展性、可定製性、隔離性、安全性、可維護性、模塊化、易於升級和更新以及支持第三方開發等方面的能力,從而滿足不斷變化的業務需求和技術挑戰。 一、插件化探索 在WPF中我們想要開 ...


1.描述一下伺服器配置:

一臺2c4g的centos,做api介面反代

一臺8c16g的windows 2019 作為實際伺服器,跑了iis,sql server,mongodb,redis

2.業務描述

    2.0  伺服器分為兩個站點:importapi:用於處理數據導入,,,webapi:用於處理對用戶端的數據查詢

    2.1 從數據源採集數據後,經過一系列的操作之後,寫入sql和mongodb,部分基礎信息會緩存在redis中,根據數據量的大小,從處理到寫入的整個流程時間在60ms-1200ms之間,平均每秒伺服器需要處理到2-3條數據,同一類型的數據使用隊列處理,避免併發寫入導致數據回跳或者出現臟數據的問題.

    2.2 用戶web端,每秒定時通過介面讀取數據,並顯示界面上

3.使用到技術/類庫

    Asp.net core 8,easycaching,freesql,redis

4.問題表現

    當天晚上10點過後,突然mongodb,sqlserver和對外的webapi介面站點的進程突然cpu占用率暴漲,mongodb平均60-80%.webapi占用20%,sqlserver占用10%,記憶體占用了50%,,且遠程桌面操作不卡,webapi數據介面處理時間跟平時一樣200ms左右,但是數據不及時,通過日誌檢查的到,importapi站點原本處理時間上漲到6s-12s直接,導致了數據處理不及時,處理隊列積壓嚴重,從而導致了數據更新不及時.並且webapi介面項目不定時報"The wait queue for acquiring a connection to server 127.0.0.1:xxx is full".錯誤.從理論上說,我們的站點是小眾站點,業內人士使用,並不會出現突然涌進幾十倍的用戶的情況出現的

5.解決方式以及思路

    從表現上看,是mongodb的壓力突然暴漲,導致寫入變慢,但是壓力來源是哪裡,由於還沒安裝監控面板,所以也沒辦法查看,因此只能按業務反向的思路去解決,總的解決用了一下幾個點

   5.1 從導入的業務流程入手,儘量優化寫入以及數據分析操作所需要用的時間(之前幾天就想好的優化方案了,只是還沒上而已)

   5.2 關掉mongodb client 的 關掉WithWriteConcern

   5.3 在webapi介面項目,action上加入加上ResponseCache,過期時間3秒,(這裡的3秒主要是按業務上考慮的)

   5.4 關掉反代nginx的日誌(減少點壓力,本來反代的伺服器性能就沒多高)

   5.5  nginx開限流,10r/s/ip burst=20

   5.6 準備一把刀(作用看後面)

   以上處理後,importapi導入的時間降低到30ms-700ms,並且webapi輸出時間降低到50-300ms(緩存內50ms,緩存外300ms),mongodb的cpu占用降低到10%內,webapi占用5%下,,

6.最終原因分析

    說起來,,問題其實很簡單,本來是只有一個前端站點把數據介面指向過來伺服器的,,前兩天遷移了另外一個站點,把數據介面也指向到這台介面伺服器,意思就是兩個web站點,使用同一套數據介面,,新接過來的站點,前端寫完代碼後,沒檢查,導致了一個致命的問題,由於前端使用vue,切換頁面的時候調用了暫停每秒一次的定時器,然後進入詳情頁後,開了一個新的定時器,也是每秒取一次另外一個介面的數據,,最大的問題就出現在,進入詳情頁後,列表頁的定時器調用關閉的函數報錯了,,實際定時器是沒關的,,這tm就吐血了,進去一次,開一個新的,後退到列表頁又開一個新的,,來回10次,意味著加了20個每秒請求一次的的定時器,,直接自己ddos自己.至於這個問題怎麼發現的,,,是解決完問題後,不死心,,去兩個站點里翻找問題,本來以為這個問題在很久之前測試的時候出現過一次,應該不會再出現的,,,結果,,,,

7. 總結,,本次問題出現從晚上10點,一步一步優化,12點多1點的時候基本代碼層面解決到1秒以內,,剩下的一些nginx的優化掃尾工作再花個不到一個鐘頭(開限流,關日誌之類的操作),順便幫前端的兩個站點的centos伺服器上,把nginx的靜態文件gzip跟緩存功能也打開了,清理了一下寫入到mongodb的日誌,至於那把刀是今天準備給前端的

---------------------------------------- 世事如棋,乾坤莫測,笑盡英雄
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 一:背景 1. 講故事 停了一個月沒有更新文章了,主要是忙於寫 C#內功修煉系列的PPT,現在基本上接近尾聲,可以回頭繼續更新這段時間分析dump的一些事故報告,有朋友微信上找到我,說他們的系統出現了大量的http超時,程式不響應處理了,讓我幫忙看下怎麼回事,dump也抓到了。 二:WinDbg分析 ...
  • 一、ReZero簡介 ReZero是一款.NET中間件 : 全網唯一開源界面操作就能生成API , 可以集成到任何.NET6+ API項目,無破壞性,也可讓非.NET用戶使用exe文件 免費開源:MIT最寬鬆協議 , 一直從事開源事業十年,一直堅持開源 1.1 純ReZero開發 適合.Net Co ...
  • EDP是一套集組織架構,許可權框架【功能許可權,操作許可權,數據訪問許可權,WebApi許可權】,自動化日誌,動態Interface,WebApi管理等基礎功能於一體的,基於.net的企業應用開發框架。通過友好的編碼方式實現數據行、列許可權的管控。 ...
  • 前言 Spacesniffer 是一個免費的文件掃描工具,通過使用樹狀圖可視化佈局,可以立即瞭解大文件夾的位置,幫助用戶處理找到這些文件夾 當前系統C盤空間 清理後系統C盤空間 下載 Spacesniffer 下載地址:https://spacesniffer.en.softonic.com/dow ...
  • efcore如何優雅的實現按年分庫按月分表 介紹 本文ShardinfCore版本 本期主角: ShardingCore 一款ef-core下高性能、輕量級針對分表分庫讀寫分離的解決方案,具有零依賴、零學習成本、零業務代碼入侵適配 距離上次發文.net相關的已經有很久了,期間一直在從事java相關的 ...
  • Channel 是乾什麼的 The System.Threading.Channels namespace provides a set of synchronization data structures for passing data between producers and consume ...
  • EDP是一套集組織架構,許可權框架【功能許可權,操作許可權,數據訪問許可權,WebApi許可權】,自動化日誌,動態Interface,WebApi管理等基礎功能於一體的,基於.net的企業應用開發框架。通過友好的編碼方式實現數據行、列許可權的管控。 ...
  • 歡迎ReaLTaiizor是一個用戶友好的、以設計為中心的.NET WinForms項目控制項庫,包含廣泛的組件。您可以使用不同的主題選項對項目進行個性化設置,並自定義用戶控制項,以使您的應用程式更加專業。 項目地址:https://github.com/Taiizor/ReaLTaiizor 步驟1: ...
一周排行
    -Advertisement-
    Play Games
  • PasteSpider是什麼? 一款使用.net編寫的開源的Linux容器部署助手,支持一鍵發佈,平滑升級,自動伸縮, Key-Value配置,項目網關,環境隔離,運行報表,差量升級,私有倉庫,集群部署,版本管理等! 30分鐘上手,讓開發也可以很容易的學會在linux上部署你得項目! [從需求角度介 ...
  • SQLSugar是什麼 **1. 輕量級ORM框架,專為.NET CORE開發人員設計,它提供了簡單、高效的方式來處理資料庫操作,使開發人員能夠更輕鬆地與資料庫進行交互 2. 簡化資料庫操作和數據訪問,允許開發人員在C#代碼中直接操作資料庫,而不需要編寫複雜的SQL語句 3. 支持多種資料庫,包括但 ...
  • 在C#中,經常會有一些耗時較長的CPU密集型運算,因為如果直接在UI線程執行這樣的運算就會出現UI不響應的問題。解決這類問題的主要途徑是使用多線程,啟動一個後臺線程,把運算操作放在這個後臺線程中完成。但是原生介面的線程操作有一些難度,如果要更進一步的去完成線程間的通訊就會難上加難。 因此,.NET類 ...
  • 一:背景 1. 講故事 前些天有位朋友在微信上丟了一個崩潰的dump給我,讓我幫忙看下為什麼出現了崩潰,在 Windows 的事件查看器上顯示的是經典的 訪問違例 ,即 c0000005 錯誤碼,不管怎麼說有dump就可以上windbg開幹了。 二:WinDbg 分析 1. 程式為誰崩潰了 在 Wi ...
  • CSharpe中的IO+NPOI+序列化 文件文件夾操作 學習一下常見的文件、文件夾的操作。 什麼是IO流? I:就是input O:就是output,故稱:輸入輸出流 將數據讀入記憶體或者記憶體輸出的過程。 常見的IO流操作,一般說的是[記憶體]與[磁碟]之間的輸入輸出。 作用 持久化數據,保證數據不再 ...
  • C#.NET與JAVA互通之MD5哈希V2024 配套視頻: 要點: 1.計算MD5時,SDK自帶的計算哈希(ComputeHash)方法,輸入輸出參數都是byte數組。就涉及到字元串轉byte數組轉換時,編碼選擇的問題。 2.輸入參數,字元串轉byte數組時,編碼雙方要統一,一般為:UTF-8。 ...
  • CodeWF.EventBus,一款靈活的事件匯流排庫,實現模塊間解耦通信。支持多種.NET項目類型,如WPF、WinForms、ASP.NET Core等。採用簡潔設計,輕鬆實現事件的發佈與訂閱。通過有序的消息處理,確保事件得到妥善處理。簡化您的代碼,提升系統可維護性。 ...
  • 一、基本的.NET框架概念 .NET框架是一個由微軟開發的軟體開發平臺,它提供了一個運行時環境(CLR - Common Language Runtime)和一套豐富的類庫(FCL - Framework Class Library)。CLR負責管理代碼的執行,而FCL則提供了大量預先編寫好的代碼, ...
  • 本章將和大家分享在ASP.NET Core中如何使用高級客戶端NEST來操作我們的Elasticsearch。 NEST是一個高級別的Elasticsearch .NET客戶端,它仍然非常接近原始Elasticsearch API的映射。所有的請求和響應都是通過類型來暴露的,這使得它非常適合快速上手 ...
  • 參考delphi的代碼更改為C# Delphi 檢測密碼強度 規則(仿 google) 仿 google 評分規則 一、密碼長度: 5 分: 小於等於 4 個字元 10 分: 5 到 7 字元 25 分: 大於等於 8 個字元 二、字母: 0 分: 沒有字母 10 分: 全都是小(大)寫字母 20 ...