一次MTU問題導致的RDS訪問故障

来源:https://www.cnblogs.com/Jcloud/archive/2022/11/28/16931753.html
-Advertisement-
Play Games

導語 VPN是一種通過公網連接兩個或多個私網站點的專用網路,使得這些站點仿佛是通過專線連接在一起。IPSec是一套協議框架,用於保證數據傳輸的私密性,完整性,真實性。但是VPN網路經常會帶來一些連通性上的問題,通常與MTU設置的不合理有關。本文通過一個實際案例,來具體分析解決這個問題。 作者:陸信宇 ...


導語

VPN是一種通過公網連接兩個或多個私網站點的專用網路,使得這些站點仿佛是通過專線連接在一起。IPSec是一套協議框架,用於保證數據傳輸的私密性,完整性,真實性。但是VPN網路經常會帶來一些連通性上的問題,通常與MTU設置的不合理有關。本文通過一個實際案例,來具體分析解決這個問題。

作者:陸信宇

一、環境拓撲

  1. 鏈路中,各個設備介面的MTU為1450

    MTU是數據鏈路層的概念,限制的是數據鏈路層payload的大小,即上層協議大小(包括上層協議頭),例如設置主機介面mtu為1450。則在一個TCP報文中,1450 = 20位元組IP頭 + 20位元組TCP頭 + 1410TCP數據。

  2. RDS為京東智聯云云資料庫實例,實例中創建有400個資料庫。

  3. SH_MariaDB_VM是一臺上海地域的雲主機,部署了mariadb服務,數據和RDS實例相同。

  4. BJ_VPNGW和SH_VPNGW分別是北京VPC和上海VPC的vpn網關

  5. bj_client所在子網和RDS所在子網通信時,下一跳為各自所在地域的vpn網關

二、現象描述

  1. bj_client通過BJ_VPNGW連接RDS。執行show databases時,一直卡住無返回。

  2. bj_client通過BJ_VPNGW連接SH_MariaDB_VM。執行show databases正常,沒有卡住的現象。

三、排查過程

  1. bj_client可以ping通RDS,telnet RDS 3306埠正常,使用mysql客戶端也可以正常連接。

  2. 在BJ_VPNGW和SH_VPNGW上抓包分析。發現RDS回包正常到達SH_VPNGW,但是沒有到達BJ_VPNGW。數據包在SH_VPNGW被丟棄。懷疑是MTU問題,導致丟包。

  3. 繼續抓包分析RDS和SH_MariaDB_VM回包的區別。發現SH_VPNGW都給RDS和SH_MariaDB_VM回了一個IMCP Error報文,報文中指定了MTU next hop: 1374。但是RDS的重傳報文中,ip層的Total Length一直是1450。SH_MariaDB_VM在首次被丟包後,重傳報文的Total Length為1374。判斷ICMP Error報文沒有被正常轉發給RDS服務端。後核實RDS前面還有一層LB,該LB沒有轉發ICMP Error。

  4. 調整bj_client介面mtu為1374之後,問題解決。

四、問題原因

由於bj_client、RDS、SH_MariaDB_VM的mtu都是1450,所以bj_client與RDS、SH_MariaDB_VM進行TCP三次握手時,協商的MSS大小為1410(MTU - 20B ip頭 - 20B tcp頭)。即後續發送的TCP報文的數據部分,最大不能超過1410位元組,且IP頭中DF置位,不允許報文分片。

bj_client連接RDS執行show databases命令。由於請求包較小,所以請求報文可以正常通過vpn網關到達RDS。RDS收到報文後開始響應。由於RDS中資料庫很多,所以響應報文會拆分成多個進行發送,每個報文的TCP數據部分是1410位元組。報文到達VPN網關後,VPN網關在原數據包基礎上再次封裝ESP、UDP、IP,封裝之後的報文大小超過了VPN網關出介面的mtu值,又因為數據包不允許分片,導致VPN網關丟棄報文。VPN網關丟棄報文之後,會向RDS發送一個ICMP Error,指明mtu of next hop: 1374 ,告知RDS以1374為最大mtu發包。但是因為RDS實例前面還有一層LB,且這個LB不會轉發ICMP Error報文,導致ICMP Error報文並沒有到達真正的RDS服務端,最終導致RDS沒有調整數據包大小就直接重傳,數據包再次被vpn網關丟棄,進入死迴圈。

五、解決方案

根據以上分析,有三種解決方法。

  1. 調小服務端或者客戶端mtu,讓兩端在建立三次握手協商mss時,以更小的mss收發數據。可以設置為ping探測的路徑MTU值。

  2. 在VPN網關配置iptables -t mangle -A FORWARD -o eth0 -p tcp --tcp-flags SYN,RST SYN -j TCPMSS --clamp-mss-to-pmtu。兩端建立三次握手的報文到達vpn網關時,修改MSS值,使MSS自適應PMTU(Path MTU)

  3. 保證icmp error報文可達

六、其他

  1. 什麼是MTU

    MTU是數據鏈路層的概念,限制的是數據鏈路層payload的大小,即上層協議大小(包括上層協議頭)

    例如設置主機介面mtu為1450。則在一個TCP報文中,1450 = 20位元組IP頭 + 20位元組TCP頭 + 1410TCP數據。

  2. 什麼是MSS

    MSS最大報文段,是TCP中一個選項,用於在TCP連接建立時,收發雙方協商通信時每一個報文段所能承載的最大數據長度(註意不包含TCP頭部大小)

  3. 如何探測路徑MTU值

    Linux主機中: 執行ping x.x.x.x -s 1422 -M do,x.x.x.x是目標地址,-s指明icmp報文的數據部分大小(不包含icmp 8位元組頭部)。-M do表示不允許分片。多試幾次,找到臨界點。以mtu為1450為例,1450 = 20位元組IP頭 + 8位元組icmp頭 + 1422數據,則-s指定為1422可以正常通過

    Windows主機中: 執行ping x.x.x.x -l 1472 -f,x.x.x.x是目標地址,-l指明icmp報文的數據部分大小(不包含icmp 8位元組頭部)。-f表示不允許分片。

  4. 如何查看MTU

    Linux: ifconfig

    windows: netsh interface ipv4 show  subinterfaces

  5. 如何設置MTU

    Linux: ifconfig eth0 mtu xxx

    windows: netsh interface ipv4 set subinterface "WLAN" mtu=1450 store=persistent


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 簡介 本文的初衷是希望幫助那些有其它平臺視覺演算法開發經驗的人能快速轉入Halcon平臺下,通過文中的示例開發者能快速瞭解一個Halcon項目開發的基本步驟,讓開發者能把精力完全集中到演算法的開發上面。 首先,你需要安裝Halcon,HALCON 18.11.0.1的安裝包會放在文章末尾。安裝包分開發和 ...
  • 進程信號介紹: 操作系統通過信號來通知進程系統中發生了某種預先規定好的事件(一組事件中的一個),它也是用戶進程之間通信和同步的一種原始機制。一個鍵盤中斷或者一個錯誤條件(比如進程試圖訪問它的虛擬記憶體中不存在的位置等)都有可能產生一個信號。Shell也使用信號向它的子進程發送作業控制信號 簡易來說,信 ...
  • 對於提供了MMU(存儲管理器,輔助操作系統進行記憶體管理,提供虛實地址轉換等硬體支持)的處理器而言,Linux提供了複雜的存儲管理系統,使得進程所能訪問的記憶體達到4GB。 進程的4GB記憶體空間被人為的分為兩個部分--用戶空間與內核空間。用戶空間地址分佈從0到3GB(PAGE_OFFSET,在0x86中 ...
  • 一、阻塞和非阻塞簡介 當應用程式對設備驅動進行操作的時候,如果不能獲取到設備資源,那麼阻塞式 IO 就會將應用程式對應的線程掛起,直到設備資源可以獲取為止。對於非阻塞 IO,應用程式對應的線程不會掛起,它要麼一直輪詢等待,直到設備資源可以使用,要麼就直接放棄。 二、阻塞訪問(等待隊列) 阻塞訪問最大 ...
  • 我們拿到一臺新的雲伺服器之後, 應該如何設置, 使伺服器更適合自己使用? 本文將以 CentOS7 為例, 介紹如何設置新伺服器. ...
  • 多表查詢的兩種方法 方式1:連表操作 語法: select * from (表1) inner\right\left\union join (表2) on (拼接條件) inner join 內連接 select * from emp inner join dep on emp.dep_id=dep ...
  • Sqoop面試題答案 Sqoop 在工作中的定位是會用就行 Q1:Sqoop導入hdfs的參數 /opt/module/sqoop/bin/sqoop import \--connect \ # 特殊的jdbc連接的字元串--username \--password \--target-dir \ ...
  • 首發微信公眾號:SQL資料庫運維 原文鏈接:https://mp.weixin.qq.com/s?__biz=MzI1NTQyNzg3MQ==&mid=2247485212&idx=1&sn=450e9e94fa709b5eeff0de371c62072b&chksm=ea37536cdd40da7 ...
一周排行
    -Advertisement-
    Play Games
  • Timer是什麼 Timer 是一種用於創建定期粒度行為的機制。 與標準的 .NET System.Threading.Timer 類相似,Orleans 的 Timer 允許在一段時間後執行特定的操作,或者在特定的時間間隔內重覆執行操作。 它在分散式系統中具有重要作用,特別是在處理需要周期性執行的 ...
  • 前言 相信很多做WPF開發的小伙伴都遇到過表格類的需求,雖然現有的Grid控制項也能實現,但是使用起來的體驗感並不好,比如要實現一個Excel中的表格效果,估計你能想到的第一個方法就是套Border控制項,用這種方法你需要控制每個Border的邊框,並且在一堆Bordr中找到Grid.Row,Grid. ...
  • .NET C#程式啟動閃退,目錄導致的問題 這是第2次踩這個坑了,很小的編程細節,容易忽略,所以寫個博客,分享給大家。 1.第一次坑:是windows 系統把程式運行成服務,找不到配置文件,原因是以服務運行它的工作目錄是在C:\Windows\System32 2.本次坑:WPF桌面程式通過註冊表設 ...
  • 在分散式系統中,數據的持久化是至關重要的一環。 Orleans 7 引入了強大的持久化功能,使得在分散式環境下管理數據變得更加輕鬆和可靠。 本文將介紹什麼是 Orleans 7 的持久化,如何設置它以及相應的代碼示例。 什麼是 Orleans 7 的持久化? Orleans 7 的持久化是指將 Or ...
  • 前言 .NET Feature Management 是一個用於管理應用程式功能的庫,它可以幫助開發人員在應用程式中輕鬆地添加、移除和管理功能。使用 Feature Management,開發人員可以根據不同用戶、環境或其他條件來動態地控制應用程式中的功能。這使得開發人員可以更靈活地管理應用程式的功 ...
  • 在 WPF 應用程式中,拖放操作是實現用戶交互的重要組成部分。通過拖放操作,用戶可以輕鬆地將數據從一個位置移動到另一個位置,或者將控制項從一個容器移動到另一個容器。然而,WPF 中預設的拖放操作可能並不是那麼好用。為瞭解決這個問題,我們可以自定義一個 Panel 來實現更簡單的拖拽操作。 自定義 Pa ...
  • 在實際使用中,由於涉及到不同編程語言之間互相調用,導致C++ 中的OpenCV與C#中的OpenCvSharp 圖像數據在不同編程語言之間難以有效傳遞。在本文中我們將結合OpenCvSharp源碼實現原理,探究兩種數據之間的通信方式。 ...
  • 一、前言 這是一篇搭建許可權管理系統的系列文章。 隨著網路的發展,信息安全對應任何企業來說都越發的重要,而本系列文章將和大家一起一步一步搭建一個全新的許可權管理系統。 說明:由於搭建一個全新的項目過於繁瑣,所有作者將挑選核心代碼和核心思路進行分享。 二、技術選擇 三、開始設計 1、自主搭建vue前端和. ...
  • Csharper中的表達式樹 這節課來瞭解一下表示式樹是什麼? 在C#中,表達式樹是一種數據結構,它可以表示一些代碼塊,如Lambda表達式或查詢表達式。表達式樹使你能夠查看和操作數據,就像你可以查看和操作代碼一樣。它們通常用於創建動態查詢和解析表達式。 一、認識表達式樹 為什麼要這樣說?它和委托有 ...
  • 在使用Django等框架來操作MySQL時,實際上底層還是通過Python來操作的,首先需要安裝一個驅動程式,在Python3中,驅動程式有多種選擇,比如有pymysql以及mysqlclient等。使用pip命令安裝mysqlclient失敗應如何解決? 安裝的python版本說明 機器同時安裝了 ...