服務不可用排查思路

来源:https://www.cnblogs.com/wenbochang/archive/2019/12/03/11979118.html

前言 上周四,伺服器突然掛了。SSH都連接不上,日常的小程式後臺直接down掉,小程式每日大概3K左右訪問量。於是乎就開啟了,排查之後。 排查階段 什麼先別說,先把服務恢復再說。重啟阿裡雲伺服器,SSH連接。開啟nginx,redis,mysql,java服務。一系列操作,先把服務先啟動了。 伺服器 ...


前言

上周四,伺服器突然掛了。SSH都連接不上,日常的小程式後臺直接down掉,小程式每日大概3K左右訪問量。於是乎就開啟了,排查之後。

排查階段

什麼先別說,先把服務恢復再說。重啟阿裡雲伺服器,SSH連接。開啟nginx,redis,mysql,java服務。一系列操作,先把服務先啟動了。

伺服器安裝了CloudMonitor(雲監控),非常建議安裝,對排查問題,查看CPU,記憶體非常的有幫助。

查看CPU,記憶體如下:

 

 

 

 

 

 

 

我們先從最後一幅圖看起,可以明顯的看到9.30左右的時候,網路的流入流出速率立馬飆升了。因此初步可以斷定,CPU,記憶體飆升,可能跟網路有關。

9.30分左右的時候,伺服器大概運行了以下幾個跟網路有關的應用:

  • mysql
  • redis
  • ngxin
  • java服務(osc,sign等等)
  • docker

很明顯前三個是日常的應用,基本上不會有什麼問題,首先排除。剩下的就是Java相關的服務和Docker了。

第一個想法是不是Java的訪問量突然增大,然後伺服器資源不夠,然後把服務給打死了。然後去看了Java服務的相關日誌,發覺9.30分並無異常,跟平常的訪問流量無多大變化。故排除。

那麼就是docker服務了。

docker我每天會有一個定時任務,用來刷題的。基本上每天九點多就會start,然後11點stop掉。遂查看docker日誌:

 

 

可以明顯的看到9.23分的時候。docker開啟,開始刷題。可以斷定就是docker的鍋了。此時把docker kill掉,定時任務關掉,至此沒在出現過問題了。

 

問題在現

為確定是否是docker的問題,於是過了幾天,我又開啟了docker的定時任務。查看伺服器資源如下:

 

問題重新復現出來了,很明顯,這就是docker的鍋。至於為什麼開啟docker的這個服務,記憶體就飆升,CPU飆升,導致伺服器直接down掉。這個原因就要問這個image的作者了。

個人初步猜想,記憶體泄露了

我們可以仔細觀察下記憶體的圖片。約9.30的時候docker服務啟動,記憶體上升至70%左右,這都是非常的合理的。

在大概10點左右的時候,任務跑完了(通過查看日誌)。但服務並沒有stop。

從10點開始,記憶體一路飆升,飆升至95%,最終我kill掉了docker,記憶體回歸正常。

這是很明顯的記憶體泄露,因為此鏡像為私人鏡像,並且不開源,具體代碼無從查起,也是沒有辦法的了。

不過已向改倉庫提了issue。https://github.com/fuck-xuexiqiangguo/docker/issues/20

 

總結

從這次伺服器掛掉,有以下幾點感想。

  • 日誌很重要,無論是什麼服務,一定要記得把日誌排在首位
  • 伺服器一定要有監控,並且要有監控預警,超過多少,發簡訊,電話通知。
  • 問題思路排查要有理有據,一步一步來,不能瞎子抓鬮似的。
  • 服務掛掉,首先要恢復服務,比如重啟等操作

 這次伺服器宕機並沒有任何影響,畢竟沒啥用戶,不過感覺對問題的排查更加深刻了。業務推動技術,這點是毋庸置疑的了。

而且業務上線後,慢慢也會出現很多問題,一個一個解決,也能學習到很多東西。

 

 


您的分享是我們最大的動力!

更多相關文章
一周排行
  • 背景 當我們對ASP.Net Core內部的某些方法、類的實現感興趣時,有很多方法可以去瞭解,看書,看各種文章,但是最直接也是最深入的辦法就是去閱讀源代碼。ASP.NET Core的源代碼托管在Github,項目地址是:https://github.com/dotnet/aspnetcore。如果只 ...
  • 1. 前言 Xceed wpftoolkit提供了一個 "CheckListBox" ,效果如下: 不過它用起來不怎麼樣,與其這樣還不如參考UWP的ListView實現,而且動畫效果也很好看: 它的樣式如下: 屬性是很多了,但這裡沒有自定義CheckBox樣式的方法,而且也沒法參考它的動畫如何實現。 ...
  • 定義委托 委托實例化 定義具體執行的方法 綁定方法 觸發委托 ...
  • 文章出處: https://www.cnblogs.com/dotnet261010/p/6275821.html 一、WPF簡介 WPF:WPF即Windows Presentation Foundation,翻譯為中文“Windows呈現基礎”,是微軟推出的基於Windows Vista的用戶界 ...
  • 前言 IdentityServer4(以下簡稱 Id4) 是 Asp.Net Core 中一個非常流行的 OpenId Connect 和 OAuth 2.0 框架,可以輕鬆集成到 Asp.Net Core 應用中,並且與 Asp.Net Core Identity 也可以輕鬆集成。博客園也有大佬發 ...
  • //從第1個開始,依次向左插入值。如果鍵不存在,先創建再插入值 隊列形式 先進後出,後進先出 //插入後形式 <-- 10,9,8,7,6,5,4,3,2,1 <-- 方向向左依次進行 stopwatch.Start(); for (int i = 0; i < 10; i++) { var get ...
  • 過濾漢字 Regex.Replace(inputStr,@"[\u4e00-\u9fa5]",string.Empty); 提取漢字: Regex.Replace(inputStr,@"[^\u4e00-\u9fa5]",string.Empty);//註意這裡多了個^符號 ...
  • String類型很簡單,就不做示例演示了,這裡只貼出Helper類 /// <summary> /// 判斷key是否存在 /// </summary> /// <param name="key"></param> /// <param name="db"></param> /// <returns ...
  • 通過上一章的學習,Geometry抽象類表示形狀或路徑。Drawing抽象類扮演了互補的角色,它表示2D圖畫(Drawing)——換句話說,它包含了顯示矢量圖像或點陣圖需要的所有信息。 儘管有幾類畫圖類,但只有GeometryDrawing類能使用已經學習過的幾何圖形。它增加了決定如何繪製圖形的畫筆和 ...
  • 以控台的形式,運行.net core mvc 代碼, Host.CreateDefaultBuilder(args) .ConfigureWebHostDefaults(webBuilder => { webBuilder.UseStartup<Startup>();//指定網路主機要使用的啟動類型 ...
x