more than 120 seconds|hung_task_timeout_secs 什麼鬼？

来源:https://www.cnblogs.com/ritchy/archive/2019/08/01/11284491.html
-Advertisement-
Play Games

//2019/7/31 18:41:14掐指一算應該resore完了呀，是不是天熱想罷工？不過已經差不多30個小時了無意間一查 tail -500f /var/log/messages 發現有些“more than 120 seconds|hung_task_timeout_secs”，還有寫ker ...


//2019/7/31 18:41:14
掐指一算應該resore完了呀，是不是天熱想罷工？不過已經差不多30個小時了
無意間一查 tail -500f /var/log/messages 發現有些“more than 120 seconds|hung_task_timeout_secs”，還有寫kernel亂七八糟的，有點蒙圈。。。先分析再幹活
咋一看2個帖子分析的非常有道理，那就乾吧，粗體是要執行查看的

問題原因：
預設情況下，Linux會最多使用40%的可用記憶體作為文件系統緩存。當超過這個閾值後，文件系統會把將緩存中的記憶體全部寫入磁碟，導致後續的IO請求都是同步的。

將緩存寫入磁碟時，有一個預設120秒的超時時間。出現上面的問題的原因是IO子系統的處理速度不夠快，不能在120秒將緩存中的數據全部寫入磁碟。

IO系統響應緩慢，導致越來越多的請求堆積，最終系統記憶體全部被占用，導致系統失去響應。

系統預設
[root@dinpaydg_cc ~]# sysctl -a | grep 'vm.dirty'
vm.dirty_background_ratio = 10
vm.dirty_background_bytes = 0
vm.dirty_ratio = 20
vm.dirty_bytes = 0
vm.dirty_writeback_centisecs = 500
vm.dirty_expire_centisecs = 3000
[root@dinpaydg_cc ~]#

解決方法：
根據應用程式情況，對vm.dirty_ratio，vm.dirty_background_ratio兩個參數進行調優設置
root執行下看看
sysctl -w vm.dirty_ratio=10
sysctl -w vm.dirty_background_ratio=5
sysctl -p

[root@dinpaydg_cc ~]# sysctl -a | grep 'vm.dirty'
vm.dirty_background_ratio = 5 #調小一倍
vm.dirty_background_bytes = 0
vm.dirty_ratio = 10 #調小一倍
vm.dirty_bytes = 0
vm.dirty_writeback_centisecs = 500
vm.dirty_expire_centisecs = 3000
[root@dinpaydg_cc ~]#

當然我只用了上免得方法，生產暫時沒法重啟。

如果系統永久生效，修改/etc/sysctl.conf文件。加入如下兩行：

#vi /etc/sysctl.conf

vm.dirty_background_ratio = 5
vm.dirty_ratio = 10

重啟系統生效。


系統日誌分析
grep 'Jul 31' messages | grep -E 'more than 120 seconds|hung_task_timeout_secs'
--發現機器restore了30個小時
[root@dinpaydg_cc log]# grep 'Jul 31' messages | grep -E 'more than 120 seconds|hung_task_timeout_secs'
Jul 31 15:11:57 dinpaydg_cc kernel: INFO: task oracle:4146 blocked for more than 120 seconds.
Jul 31 15:11:57 dinpaydg_cc kernel: "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
Jul 31 16:17:57 dinpaydg_cc kernel: INFO: task oracle:4147 blocked for more than 120 seconds.
Jul 31 16:17:57 dinpaydg_cc kernel: "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
Jul 31 16:23:57 dinpaydg_cc kernel: INFO: task oracle:4144 blocked for more than 120 seconds.
Jul 31 16:23:57 dinpaydg_cc kernel: "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
Jul 31 16:23:57 dinpaydg_cc kernel: INFO: task oracle:4146 blocked for more than 120 seconds.
Jul 31 16:23:57 dinpaydg_cc kernel: "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
Jul 31 16:25:57 dinpaydg_cc kernel: INFO: task oracle:4144 blocked for more than 120 seconds.
Jul 31 16:25:57 dinpaydg_cc kernel: "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
Jul 31 17:15:57 dinpaydg_cc kernel: INFO: task oracle:4147 blocked for more than 120 seconds.
Jul 31 17:15:57 dinpaydg_cc kernel: "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
[root@dinpaydg_cc log]#

資源使用分析
sar -r 查看發現這一段時間的記憶體使用情況，已使用記憶體的百分數（%memused）非常高，已使用交換空間的百分數（%swapused）比例也在個位數到40%直接，伺服器在10:31重啟，10:00 到10:30之間的數據沒有，不清楚什麼原因導致。從這些數據也可以看出記憶體資源非常緊張。

另外也用sar -u查看了CPU，CPU使用率不高。基本正常，當時忘記查看I/O和傳送速率的統計信息（現在去查看，已經看不到昨天的數據了），另外在message日誌裡面看到有"ata2.00: status: { DRDY ERR }"， "ata2.00: qc timeout(cmd 0xa0)"; 之類的錯誤信息

【記憶體有瓶頸】一直99%以上
[root@dinpaydg_cc log]# sar -r
Linux 2.6.32-573.12.1.el6.x86_64 (dinpaydg_cc) 07/31/2019 _x86_64_ (16 CPU)
10:50:02 AM kbmemfree kbmemused %memused kbbuffers kbcached kbcommit %commit
11:00:01 AM 355288 65617760 99.46 150040 63419688 2689968 3.27
11:10:01 AM 354528 65618520 99.46 150088 63423884 2690020 3.27
11:20:01 AM 367640 65605408 99.44 150136 63412012 2689880 3.27
11:30:01 AM 362712 65610336 99.45 150088 63419560 2689976 3.27
11:40:01 AM 368524 65604524 99.44 150084 63411952 2690108 3.27
11:50:01 AM 347320 65625728 99.47 149712 63434068 2689940 3.27
12:00:01 PM 351676 65621372 99.47 149792 63426180 2689956 3.27
12:10:01 PM 356232 65616816 99.46 149924 63415948 2689944 3.27
12:20:01 PM 355240 65617808 99.46 150068 63416388 2689804 3.27
12:30:01 PM 368880 65604168 99.44 150048 63401996 2690048 3.27
12:40:01 PM 359596 65613452 99.45 150104 63413688 2690104 3.27
12:50:01 PM 350048 65623000 99.47 150172 63427012 2689940 3.27
01:00:01 PM 349784 65623264 99.47 150080 63417960 2690072 3.27
01:10:01 PM 362572 65610476 99.45 149996 63401240 2690092 3.27
01:20:01 PM 351272 65621776 99.47 150068 63414564 2689928 3.27
01:30:01 PM 350668 65622380 99.47 150272 63422528 2690012 3.27
01:40:01 PM 352900 65620148 99.47 150252 63412152 2690120 3.27
01:50:01 PM 366284 65606764 99.44 150116 63384588 2690016 3.27
02:00:01 PM 363068 65609980 99.45 150276 63397584 2690048 3.27
02:10:01 PM 368648 65604400 99.44 149992 63376084 2690120 3.27
02:20:01 PM 369268 65603780 99.44 149928 63373840 2690008 3.27
02:30:01 PM 362060 65610988 99.45 149820 63376720 2690012 3.27
02:40:01 PM 367160 65605888 99.44 149712 63383124 2690120 3.27
02:50:01 PM 360448 65612600 99.45 149276 63370696 2689952 3.27
03:00:01 PM 358000 65615048 99.46 149408 63372396 2690012 3.27
03:10:01 PM 359588 65613460 99.45 147528 63255224 2689944 3.27
03:20:01 PM 351660 65621388 99.47 147348 63241720 2690072 3.27
03:30:01 PM 355504 65617544 99.46 146716 63225352 2689952 3.27
03:40:01 PM 369560 65603488 99.44 147140 63211492 2682996 3.26
03:50:02 PM 365856 65607192 99.45 147276 63221384 2682936 3.26
04:00:01 PM 350200 65622848 99.47 147108 63235804 2685272 3.26
04:10:02 PM 359236 65613812 99.46 147284 63215036 2682936 3.26
04:20:01 PM 348992 65624056 99.47 147220 63184804 2683064 3.26
04:30:01 PM 348712 65624336 99.47 147492 63182200 2682868 3.26
04:40:01 PM 363872 65609176 99.45 147200 63189104 2683104 3.26
04:50:01 PM 355796 65617252 99.46 147840 63249792 2682868 3.26
05:00:01 PM 351828 65621220 99.47 147484 63243968 2682996 3.26
05:10:01 PM 368956 65604092 99.44 147996 63236072 2682984 3.26
05:20:01 PM 364492 65608556 99.45 147844 63237672 2683060 3.26
05:30:01 PM 350464 65622584 99.47 147632 63239828 2682912 3.26
05:40:01 PM 360896 65612152 99.45 148100 63253944 2683084 3.26
05:50:01 PM 366972 65606076 99.44 149312 63276300 2683028 3.26
06:00:01 PM 361516 65611532 99.45 150500 63310344 2682912 3.26
06:10:01 PM 355424 65617624 99.46 150628 63336856 2682980 3.26
06:20:01 PM 348836 65624212 99.47 150708 63356368 2682984 3.26
06:30:01 PM 351704 65621344 99.47 150700 63358596 2682912 3.26
06:40:01 PM 357428 65615620 99.46 151420 63355612 2687860 3.26
06:50:01 PM 350732 65622316 99.47 151608 63366176 2687856 3.26
Average: 358674 65614374 99.46 143847 63371864 2688699 3.26
[root@dinpaydg_cc log]#

參考帖子，感謝
Linux伺服器宕機案例第二則
https://www.cnblogs.com/kerrycode/p/5653586.html
故障報錯之/proc/sys/kernel/hung_task_timeout_secs
https://blog.csdn.net/weixin_43279032/article/details/87718804


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Centos7搭建主從DNS伺服器
    1、準備 例：兩台192.168.11.10(主),192.168.11.11(從),功能變數名稱www.test1.com 2、主DNS伺服器(192.168.11.10)配置 3、配置正向解析 4、重啟DNS伺服器 5、檢查解析是否成功 6、配置反向解析 7、重啟DNS伺服器 8、檢查解析是否成功 9、 ...
  • Linux網路——查看網路連接情況的命令
    Linux網路——查看網路連接情況的命令 摘要：本文主要學習了Linux中用來查看網路連接情況的命令。 hostname命令 hostname命令用於顯示和設置系統的主機名稱，設置只是臨時生效，永久生效需要更改配置文件。 基本語法 修改主機名： 查看系統信息： 選項說明 使用舉例 ping命令 pi ...
  • 使用Minifly打造基於視覺感知的跟蹤無人機
    前言：無人機和人工智慧現在是非常熱門的話題，將兩者結合起來是一個比較好的創意，本文介紹一種可行的解決方案來實現基於視覺感知的跟蹤無人機。從零開始搭建無人機系統工作量和難度（以及錢）都是非常大的，所以在無人機系統的選擇上，選用正點原子開發的開源演算法無人機Minifly四軸和攝像頭。視覺感知模塊（目標檢 ...
  • 完全零基礎在Linux中安裝 JDK
    完全零基礎在Linux中安裝 JDK 總體思路：先確定沒有Java程式了 — 然後創建相應路徑文件夾 — 下載JDK — 解壓到當前路徑 — 自定義文件名稱 — 配置環境變數 — 檢查是否安裝成功 第一步 進入到root編程環境 第二步 查看已安裝的Java程式 我有的Java程式如下（這裡因人而異 ...
  • 尚矽谷MySQL基礎學習筆記
    資料庫MySQL學習筆記 [TOC] 寫在前面 學習鏈接： "資料庫 MySQL 視頻教程全集" MySQL引入 資料庫的好處 1. 持久化數據到本地 2. 可以實現結構化查詢，方便管理 資料庫的相關概念 DB：資料庫（database）：存儲數據的“倉庫”，它保存了一系列有組織的數據。 DBMS： ...
  • Gridea+GitHub搭建個人博客
    某日閑餘時間看到一篇介紹Gridea博客平臺的文章，大概看了一下覺得此平臺還不錯，隨即自己進入Gridea官網瞅了瞅。哇，這搭建過程也太簡單了吧，比Hexo博客搭建要容易很多，而且還有後臺管理客戶端，很適合小白用戶入門。最重要的是不用自己購買功能變數名稱！可以直接與GitHub或Coding配合展示頁面。下 ...
  • 入門MySQL——基礎語句篇
    前言： 前面幾篇文章，我們介紹了MySQL的基礎概念及邏輯架構。相信你現在應該有了自己的一套MySQL環境，接下來我們就可以開始練習MySQL了。本文將從MySQL最基礎的語句出發，為你展示出創建及修改不同對象應該使用的標準語句。 1.創建資料庫 創建資料庫的官方標準語法為： 其中{}中的內容為多選 ...
  • 基於Python和Xtrbackup的自動化備份與還原實現
    xtrabackup是一個MySQL備份還原的常用工具，實際使用過程應該都是shell或者python封裝的自動化腳本，尤其是備份。對還原來說，對於基於完整和增量備份的還原，還原差異備份需要指定增量備份等等一系列容易出錯的手工操作，以及binlog的還原等，如果純手工操作的話非常麻煩。即便是你記性非 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類