服務不可用排查思路

来源:https://www.cnblogs.com/wenbochang/archive/2019/12/03/11979118.html

前言 上周四,伺服器突然掛了。SSH都連接不上,日常的小程式後臺直接down掉,小程式每日大概3K左右訪問量。於是乎就開啟了,排查之後。 排查階段 什麼先別說,先把服務恢復再說。重啟阿裡雲伺服器,SSH連接。開啟nginx,redis,mysql,java服務。一系列操作,先把服務先啟動了。 伺服器 ...


前言

上周四,伺服器突然掛了。SSH都連接不上,日常的小程式後臺直接down掉,小程式每日大概3K左右訪問量。於是乎就開啟了,排查之後。

排查階段

什麼先別說,先把服務恢復再說。重啟阿裡雲伺服器,SSH連接。開啟nginx,redis,mysql,java服務。一系列操作,先把服務先啟動了。

伺服器安裝了CloudMonitor(雲監控),非常建議安裝,對排查問題,查看CPU,記憶體非常的有幫助。

查看CPU,記憶體如下:

 

 

 

 

 

 

 

我們先從最後一幅圖看起,可以明顯的看到9.30左右的時候,網路的流入流出速率立馬飆升了。因此初步可以斷定,CPU,記憶體飆升,可能跟網路有關。

9.30分左右的時候,伺服器大概運行了以下幾個跟網路有關的應用:

  • mysql
  • redis
  • ngxin
  • java服務(osc,sign等等)
  • docker

很明顯前三個是日常的應用,基本上不會有什麼問題,首先排除。剩下的就是Java相關的服務和Docker了。

第一個想法是不是Java的訪問量突然增大,然後伺服器資源不夠,然後把服務給打死了。然後去看了Java服務的相關日誌,發覺9.30分並無異常,跟平常的訪問流量無多大變化。故排除。

那麼就是docker服務了。

docker我每天會有一個定時任務,用來刷題的。基本上每天九點多就會start,然後11點stop掉。遂查看docker日誌:

 

 

可以明顯的看到9.23分的時候。docker開啟,開始刷題。可以斷定就是docker的鍋了。此時把docker kill掉,定時任務關掉,至此沒在出現過問題了。

 

問題在現

為確定是否是docker的問題,於是過了幾天,我又開啟了docker的定時任務。查看伺服器資源如下:

 

問題重新復現出來了,很明顯,這就是docker的鍋。至於為什麼開啟docker的這個服務,記憶體就飆升,CPU飆升,導致伺服器直接down掉。這個原因就要問這個image的作者了。

個人初步猜想,記憶體泄露了

我們可以仔細觀察下記憶體的圖片。約9.30的時候docker服務啟動,記憶體上升至70%左右,這都是非常的合理的。

在大概10點左右的時候,任務跑完了(通過查看日誌)。但服務並沒有stop。

從10點開始,記憶體一路飆升,飆升至95%,最終我kill掉了docker,記憶體回歸正常。

這是很明顯的記憶體泄露,因為此鏡像為私人鏡像,並且不開源,具體代碼無從查起,也是沒有辦法的了。

不過已向改倉庫提了issue。https://github.com/fuck-xuexiqiangguo/docker/issues/20

 

總結

從這次伺服器掛掉,有以下幾點感想。

  • 日誌很重要,無論是什麼服務,一定要記得把日誌排在首位
  • 伺服器一定要有監控,並且要有監控預警,超過多少,發簡訊,電話通知。
  • 問題思路排查要有理有據,一步一步來,不能瞎子抓鬮似的。
  • 服務掛掉,首先要恢復服務,比如重啟等操作

 這次伺服器宕機並沒有任何影響,畢竟沒啥用戶,不過感覺對問題的排查更加深刻了。業務推動技術,這點是毋庸置疑的了。

而且業務上線後,慢慢也會出現很多問題,一個一個解決,也能學習到很多東西。

 

 


您的分享是我們最大的動力!

更多相關文章
一周排行
  • 一、引言 按照專用隊列解釋: MachineName\Private$\QueueName,只針對於本機的程式才可以調用的隊列,有些情況下為了安全起見定義為私有隊列。所以剛開始的時候認為,要想訪問遠程消息隊列,只能使用公共隊列。但是後來發現,公共隊列依賴Domain Controller(域控),在 ...
  • 本文只對api介面,header請求參數進行簡單驗證,起到拋磚引玉使用,需要深入驗證,請自行擴展 項目目錄結構如圖 中間件類 using ApiMiddleware.Common.DataEnityModel; using ApiMiddleware.Common.DbContext; using ...
  • 前言:由於公司占時沒有運維,出於微服務的需要,Apollo只能先裝在windows 阿裡雲上跑起來,由於環境及網路等問題,在安裝過程中遇到很多坑,算是一個個坑填完後,最終實現。 一. java jdk環境 java jdk 1.8下載地址: https://www.oracle.com/java/t ...
  • 前言 nuget 是 .net 的常用包管理器,目前已經內置到 Visual Studio 2012 以後的版本。大多數 .net 包都托管在 nuget.org,包括 .net core 框架基礎包,得益於 .net core 的模塊化設計,很多非核心包都可以進行一定程度的獨立升級。 製作並上傳 ...
  • 簡單的介紹一下集合,通俗來講就是用來保管多個數據的方案。比如說我們是一個公司的倉庫管理,公司有一堆貨物需要管理,有同類的,有不同類的,總而言之就是很多、很亂。我們對照集合的概念對倉庫進行管理的話,那麼 數組就是將一堆貨整整齊齊的碼在倉庫的某個地方,普通列表也是如此;Set就是在倉庫里有這麼一個貨架, ...
  • 中間件分類 ASP.NET Core 中間件的配置方法可以分為以上三種,對應的Helper方法分別是:Run(), Use(), Map()。 Run(),使用Run調用中間件的時候,會直接返回一個響應,所以後續的中間件將不會被執行了。 Use(),它會對請求做一些工作或處理,例如添加一些請求的上下 ...
  • 字元串的常用操作 很好理解 字元串可以用 ' + ' 連接,或者乘一個常數重覆輸出字元串 字元串的索引操作 通過一對中括弧可以找到字元串中的某個字元 可以通過正負數雙向操作噢 用一個中括弧來實現 為什麼沒有-0??去清醒腦子想想 -0 和 0 有差嗎? 還有一個切片操作 就像切菜那樣簡單,同樣是中括 ...
  • title: Java基礎語法(3) 運算符 blog: "CSDN" data: "Java學習路線及視頻" 1.算術運算符 算術運算符的註意問題 如果對負數取模,可以把模數負號忽略不記,如:5% 2=1。 但被模數是負數則不可忽略。此外,取模運算的結果不一定總是整數。 對於除號“/”,它的整數除 ...
  • 下麵是互相轉換的代碼: 有想要瞭解更多關於python知識的請在下方評論或私信小編 ...
  • 引言 構建分散式系統並不容易。然而,人們日常所使用的應用大多基於分散式系統,在短時間內依賴於分散式系統的現狀並不會改變。ApacheZooKeeper旨在減輕構建健壯的分散式系統的任務。ZooKeeper基於 分散式計算的核心概念而設計,主要目的是給開發人員提供一套容易理解和開發的介面,從而簡化分佈 ...
x