如何解決系統報錯:nf_conntrack: table full, dropping packets

来源:https://www.cnblogs.com/ulricqin/archive/2023/06/12/17476210.html
-Advertisement-
Play Games

問題 在系統日誌中(/var/log/messages),有時會看到大面積的下麵的報錯: nf_conntrack: table full, dropping packet 這說明系統接到了大量的連接請求,但是系統的連接跟蹤表已經滿了,無法再記錄新的連接了。這時候,系統會丟棄新的連接請求。 在 Ce ...


問題

在系統日誌中(/var/log/messages),有時會看到大面積的下麵的報錯:

nf_conntrack: table full, dropping packet

這說明系統接到了大量的連接請求,但是系統的連接跟蹤表已經滿了,無法再記錄新的連接了。這時候,系統會丟棄新的連接請求。

在 CentOS 下,預設的連接跟蹤表大小是 65536,可以通過下麵的命令查看:

cat /proc/sys/net/netfilter/nf_conntrack_max

如果流量比較小,這個值是沒問題的,但如果流量巨大,這個值可能就有點太小了。

解決方法

顯然,調大最大值的限制就可以了。不過更大的限制意味著可以承接更多連接,意味著要耗費更多資源,這點要註意。

查看當前有多少活躍連接:

cat /proc/sys/net/netfilter/nf_conntrack_count

如果這個值跟上面介紹的 nf_conntrack_max 已經很接近了,就說明快滿了,需要調大 nf_conntrack_max。可以使用下麵的命令臨時調大:

echo 524288 > /proc/sys/net/netfilter/nf_conntrack_max

如果不想每次重啟都要重新設置,可以修改 /etc/sysctl.conf,加入下麵的配置:

net.netfilter.nf_conntrack_max = 524288

為了緩解大量連接的問題,您可能還需要考慮減少伺服器等待連接關閉/超時的時間。在 /etc/sysctl.conf 中加入下麵的配置:

net.netfilter.nf_conntrack_tcp_timeout_close_wait = 60
net.netfilter.nf_conntrack_tcp_timeout_fin_wait = 60
net.netfilter.nf_conntrack_tcp_timeout_time_wait = 60

如何監控

平時使用 categraf(https://github.com/flashcatcloud/categraf) 監控就可以了,categraf 提供了 input.conntrack 採集插件,可以採集 conntrack 的信息,建議採集配置如下:

conf/input.conntrack/conntrack.toml:

files = [
    "ip_conntrack_count",
    "ip_conntrack_max",
    "nf_conntrack_count",
    "nf_conntrack_max"
]

dirs = [
    "/proc/sys/net/ipv4/netfilter",
    "/proc/sys/net/netfilter"
]

# ignore errors
quiet = true

完事配置一個類似下麵的監控規則即可:

conntrack_ip_conntrack_count / ip_conntrack_max > 0.8

另一個監控方案,是直接監控系統日誌,算是一個兜底監控方案,可以採用 catpaw 來監控,catpaw 提供了 journaltail 採集插件,可以讀取近期系統日誌,grep 關鍵字,如果出現異常關鍵字就告警,配置如下:

conf.d/p.journaltail/journaltail.toml:

[[instances]]
# journalctl -S -${time_span}
time_span = "1m"
# relationship: or
keywords = ["Out of memory", "nf_conntrack: table full, dropping packets"]
# check rule name
check = "Critical System Errors"
# # gather interval
interval = "30s"

[instances.alerting]
## Enable alerting or not
enabled = true
## Same functionality as Prometheus keyword 'for'
for_duration = 0
## Minimum interval duration between notifications
repeat_interval = "5m"
## Maximum number of notifications
repeat_number = 3
## Whether notify recovery event
recovery_notification = true
## Choice: Critical, Warning, Info
default_severity = "Warning"

catpaw 的入門使用,可以參考文章:《太捲了,史上最簡單的監控系統 catpaw 簡介


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 博客推行版本更新,成果積累制度,已經寫過的博客還會再次更新,不斷地琢磨,高質量高數量都是要追求的,工匠精神是學習必不可少的精神。因此,大家有何建議歡迎在評論區踴躍發言,你們的支持是我最大的動力,你們敢投,我就敢肝 ...
  • ## 簡介 猜拳小游戲是一個經典的小游戲項目,也是初學者學習編程的必要練手題目之一。在 Python 中,我們可以使用多種方式來實現一個簡單的猜拳小游戲。 本文將依次介紹六種Python實現猜拳小游戲的方法,包括:使用 `if-else` 條件語句、使用 `random` 模塊、使用字典映射勝負關係 ...
  • 在分散式環境中,當需要控制對某一資源的不同進程併發訪問時就需要使用分散式鎖;可以使用 ZooKeeper + Curator 來實現分散式鎖,本文主要介紹 Curator 中分散式鎖的使用,文中所使用到的軟體版本:Java 1.8.0_341、Zookeeper 3.7.1、curator 5.4. ...
  • 馬哥原創,淄博燒烤分析大屏,含:詞雲圖、玫瑰圖、柱形圖、折線圖、地圖等圖表,jieba分詞、snownlp情感分析、stopwords停用詞、flask網頁服務等技術。 ...
  • 最近需要在計算大文件的 MD5 值時顯示進度,於是我寫瞭如下的代碼: ``` cs public long Length {get; private set; } public long Position { get; private set; } public async Task Compute ...
  • ## 硬碟壞道概念新知 現在一般很少提到硬碟壞道這個概念,硬碟無非壞了或者沒壞兩個狀態。玩NAS一段時間,就會遇到其中的中間狀態——“壞道”。本文僅就**機械硬碟**的“壞道”進行分析。 目前遇到過幾次文件系統損壞掛載不上。因為好玩,嘗試了多種文件系統。 1. ext4的硬碟斷電壞了,掛載提示nee ...
  • 大家好,我是 god23bin。今天我給大家帶來的是 Linux 命令系列,每天只需一分鐘,記住一個 Linux 命令不成問題。今天,需要你花費兩分鐘時間,因為我們要介紹的是兩個常用的查看文件內容的命令:cat 和 tail 命令。 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...