MongoDB 最大連接數 設置失效的異常分析

来源:https://www.cnblogs.com/xuliuzai/archive/2018/09/04/9589272.html
-Advertisement-
Play Games

背景介紹: 查詢MongoDB配置參數,可以知道關於最大連接數的參數是maxConns。但是連接實例後,查看支持的最大連接數,還是預設的819。 說明:最大連接數是由maxConn (maxIncomingConnections)和操作系統單個進程能打開的最大文件描述符數總量的80%決定的,取兩個之 ...


 

背景介紹:

查詢MongoDB配置參數,可以知道關於最大連接數的參數是maxConns。但是連接實例後,查看支持的最大連接數,還是預設的819。

說明:最大連接數是由maxConn (maxIncomingConnections)和操作系統單個進程能打開的最大文件描述符數總量的80%決定的,取兩個之間的最小值。預設單個進程能打開的最大文件描述符數為1024,1024*80% = 819.2 取整數819。所以最大可以支持的併發連接數為819。

 

案例重現

 

以下為本次測試MongoDB案例配置的參數。

啟動後查看最大連接數。

運行命令:db.serverStatus().connections

 

Current表示當前到實例上正在運行的連接數。

Available表示當前實例還可以支持的併發連接數。

也就是說此實例最大能支持的併發連接數為:Current+available=3+816=819.

所以設置的maxConns參數無效。所以設置的maxConns參數無效!所以設置的maxConns參數無效!所以設置的maxConns參數無效!

 

答案求索

 

此時查看查看網上相關資料,大部分集中在 Linux系統最大文件描述符數。查看我們系統配置,此時已經是65535了。不是系統最大文件描述符數限制的了。

轉個彎,因為我們是為操作系統是 centos 7 ,所以我們的mongodb服務是透過systemctl來管理的。那如果是通過service 命令來管理此服務呢?

測試1 測試用service來管理mongodb 服務 對最大連接數的影響

(1)       在/etc/init.d目錄下創建名為mongodbtest0903的服務;

(2)       服務的配置如下:

 

(3)       賦予執行許可權,然後開啟服務

(4)       此時查看連接數為2500(為maxConns參數值)

 

(5)       關閉 mongodb 服務

 

以上說明用service 來管理服務,最大連接數參數起作用了。

 

測試2 如果直接用Mongodb command打開呢?

(1)       直接開啟

(2)此時查看連接數為2500(為maxConns參數值)

(3)關閉此服務

 

以上說明直接開啟Mongodb服務,最大連接數參數起作用了。

通過service 和  mongodb 命令啟動服務,最大連接數都是設置的參數,而通過systemctl 來開啟此服務就變成了預設的819.

 

探究

 

我們來具體分析下systemctl 開啟的 mongodb 服務(此服務定義為mongodbtest0903)。

(1)查看此服務的所有配置細節的命令

systemctl show mongodbtest0903.service

部分細節如下

此時 LimitNOFILE=4096

(2)              查看此服務的進程,以及此進程下的資源限制

 

 進程的資源限制

終於看到了 資源限制是1024。

 

問題1:為什麼經過systemctl 啟動的mongodb服務變成了預設的819.

回答:因為systemctl 啟動的服務進程其最大文件描述符數變成了1024. 1024*80% = 819.2 取整數819.

 

問題2:為什麼系統設置的最大是65525 而 systemctl 變成了1024.

在Centos7系統中,使用Systemd替代了之前的SysV。/etc/security/limits.conf文件的配置作用域縮小了。/etc/security/limits.conf的配置,只適用於通過PAM認證登錄用戶的資源限制,它對systemd的service的資源限制不生效。

其實仔細查看/etc/security/limits.conf文件的註釋,說明瞭對系統服務不生效。

 

解決方案 

 

解決方案,知道了問題所在,針對此問題尋找解決方案相對容易了。

 

解決方案1:針對單個 systemctl 管理的服務。

在/lib/systemd/system中找到具體的服務,增加

# (open files)
LimitNOFILE=64000

命令。 修改後為:

重啟服務,此時連接查看最大連接數為2500,到達設置的參數。

 

解決方案2 網上有種方案是對systemd全局修改。此方案本作者沒有驗證,轉述如下,意思是修改 /etc/systemd/system.conf 即可:

 

全局的配置,放在文件/etc/systemd/system.conf和/etc/systemd/user.conf。 同時,也會載入兩個對應的目錄中的所有.conf文件/etc/systemd/system.conf.d/*.conf和/etc/systemd/user.conf.d/*.conf
其中,system.conf是系統實例使用的,user.conf用戶實例使用的。一般的sevice,使用system.conf中的配置即可。systemd.conf.d/*.conf中配置會覆蓋system.conf。

DefaultLimitCORE=infinity

DefaultLimitNOFILE=100000

DefaultLimitNPROC=100000

註意:修改了system.conf後,需要重啟系統才會生效。

 

因為伺服器上systemctl會管理多種服務,為減少對其它服務的影響,建議在單個服務上修改,即採用第一種方案。

 

其他相關知識

(1)mysql 服務也會遇到類似問題;

(2)* nofiles    - soft limit on the number of file descriptors a process may have;

 

(3) *soft limit與hard limit的不同:soft limit是真正生效的限制值,而hard limit僅僅是soft limit調整範圍的一個上限。

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 原理:在板子上插入SD卡,並使用FATFS文件系統來迴圈讀取並顯示SD卡內的指定目錄內的所有BMP圖片。 這是顯示效果(能上傳視頻的話就能看到迴圈顯示效果): 因為圖片顯示函數顯示的是24位BMP圖片轉換後的16位BMP圖片,所以需要在SD卡內事先存入24位的BMP圖,同時寬度必須等於LCD顯示屏寬 ...
  • 1. Kdump工具 Kdump的工作機制是在內核崩潰時, 通過kexec 工具由BIOS啟動一個備用內核, 由備用內核執行一系列任務,保存記憶體中崩潰內核的狀態, 供後續故障分析用. 本文預設AMD或INTEL X86_64架構, RHEL7系統環境. 1.1 內核管理工具Kdump安裝 Kdump ...
  • 1.清理電腦桌面: 桌面文件越少越好,畢竟桌面東西多是很占資源的; 2.更改電腦虛擬記憶體: 虛擬記憶體可以彌補系統記憶體的不足,也就是拿硬碟空間當記憶體使用; 3.清空“Temp”文件夾: 在C盤的windows文件夾下有一個temp,刪除即可; 4.刪除工具欄圖標: 工具欄有很多用不著的圖標,放哪也沒 ...
  • 實例拓撲圖: DR1和DR2部署keepalived和lvs作主從架構或主主架構,RS1和RS2部署nginx搭建web站點。 註意:各節點的時間需要同步(ntpdate ntp1.aliyun.com);關閉firewalld(systemctl stop firewalld.service,sy ...
  • 另一篇關於終端會話共用的文章: "Linux錄製、回放和共用終端操作" kibitz可以將一個會話(你所操作的)實時分享給本機的其它登陸用戶(你想讓別人看到的)。通過這個工具,你敲什麼命令,輸出了什麼內容對方都能立即看到,用來演示很不錯。 它是是expect中的一個工具,所以先安裝expect。 使 ...
  • Linux 內核使用 task_struct 數據結構來關聯所有與進程有關的數據和結構,Linux 內核所有涉及到進程和程式的所有演算法都是圍繞該數據結構建立的,是內核中最重要的數據結構之一。 該數據結構在內核文件include/linux/sched.h中定義,在目前最新的Linux 4.5(截至目 ...
  • 一、簡單的多級菜單 顯示效果如下: ...
  • 如下圖所示,Checktime這個欄位有很多重覆數據,我需要把所有Checktime這個欄位重覆的都刪掉,但是還需要保留一條; 在Access做刪除查詢怎麼做呀,來個Access高手,複製粘貼黨請手下留情,謝謝。 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...