導語 VPN是一種通過公網連接兩個或多個私網站點的專用網路，使得這些站點仿佛是通過專線連接在一起。IPSec是一套協議框架，用於保證數據傳輸的私密性，完整性，真實性。但是VPN網路經常會帶來一些連通性上的問題，通常與MTU設置的不合理有關。本文通過一個實際案例，來具體分析解決這個問題。 作者：陸信宇 ...
導語
VPN是一種通過公網連接兩個或多個私網站點的專用網路，使得這些站點仿佛是通過專線連接在一起。IPSec是一套協議框架，用於保證數據傳輸的私密性，完整性，真實性。但是VPN網路經常會帶來一些連通性上的問題，通常與MTU設置的不合理有關。本文通過一個實際案例，來具體分析解決這個問題。
作者：陸信宇
一、環境拓撲
-
鏈路中，各個設備介面的MTU為1450
MTU是數據鏈路層的概念，限制的是數據鏈路層payload的大小，即上層協議大小(包括上層協議頭)，例如設置主機介面mtu為1450。則在一個TCP報文中，1450 = 20位元組IP頭 + 20位元組TCP頭 + 1410TCP數據。
-
RDS為京東智聯云云資料庫實例，實例中創建有400個資料庫。
-
SH_MariaDB_VM是一臺上海地域的雲主機，部署了mariadb服務，數據和RDS實例相同。
-
BJ_VPNGW和SH_VPNGW分別是北京VPC和上海VPC的vpn網關
-
bj_client所在子網和RDS所在子網通信時，下一跳為各自所在地域的vpn網關
二、現象描述
-
bj_client通過BJ_VPNGW連接RDS。執行show databases時，一直卡住無返回。
-
bj_client通過BJ_VPNGW連接SH_MariaDB_VM。執行show databases正常，沒有卡住的現象。
三、排查過程
-
bj_client可以ping通RDS，telnet RDS 3306埠正常，使用mysql客戶端也可以正常連接。
-
在BJ_VPNGW和SH_VPNGW上抓包分析。發現RDS回包正常到達SH_VPNGW，但是沒有到達BJ_VPNGW。數據包在SH_VPNGW被丟棄。懷疑是MTU問題，導致丟包。
-
繼續抓包分析RDS和SH_MariaDB_VM回包的區別。發現SH_VPNGW都給RDS和SH_MariaDB_VM回了一個IMCP Error報文，報文中指定了
MTU next hop: 1374。但是RDS的重傳報文中，ip層的Total Length一直是1450。SH_MariaDB_VM在首次被丟包後，重傳報文的Total Length為1374。判斷ICMP Error報文沒有被正常轉發給RDS服務端。後核實RDS前面還有一層LB，該LB沒有轉發ICMP Error。 -
調整bj_client介面mtu為1374之後，問題解決。
四、問題原因
由於bj_client、RDS、SH_MariaDB_VM的mtu都是1450，所以bj_client與RDS、SH_MariaDB_VM進行TCP三次握手時，協商的MSS大小為1410(MTU - 20B ip頭 - 20B tcp頭)。即後續發送的TCP報文的數據部分，最大不能超過1410位元組，且IP頭中DF置位，不允許報文分片。
bj_client連接RDS執行show databases命令。由於請求包較小，所以請求報文可以正常通過vpn網關到達RDS。RDS收到報文後開始響應。由於RDS中資料庫很多，所以響應報文會拆分成多個進行發送，每個報文的TCP數據部分是1410位元組。報文到達VPN網關後，VPN網關在原數據包基礎上再次封裝ESP、UDP、IP，封裝之後的報文大小超過了VPN網關出介面的mtu值，又因為數據包不允許分片，導致VPN網關丟棄報文。VPN網關丟棄報文之後，會向RDS發送一個ICMP Error，指明mtu of next hop: 1374 ，告知RDS以1374為最大mtu發包。但是因為RDS實例前面還有一層LB，且這個LB不會轉發ICMP Error報文，導致ICMP Error報文並沒有到達真正的RDS服務端，最終導致RDS沒有調整數據包大小就直接重傳，數據包再次被vpn網關丟棄，進入死迴圈。
五、解決方案
根據以上分析，有三種解決方法。
-
調小服務端或者客戶端mtu，讓兩端在建立三次握手協商mss時，以更小的mss收發數據。可以設置為ping探測的路徑MTU值。
-
在VPN網關配置
iptables -t mangle -A FORWARD -o eth0 -p tcp --tcp-flags SYN,RST SYN -j TCPMSS --clamp-mss-to-pmtu。兩端建立三次握手的報文到達vpn網關時，修改MSS值，使MSS自適應PMTU(Path MTU) -
保證icmp error報文可達
六、其他
-
什麼是MTU
MTU是數據鏈路層的概念，限制的是數據鏈路層payload的大小，即上層協議大小(包括上層協議頭)
例如設置主機介面mtu為1450。則在一個TCP報文中，1450 = 20位元組IP頭 + 20位元組TCP頭 + 1410TCP數據。
-
什麼是MSS
MSS最大報文段，是TCP中一個選項，用於在TCP連接建立時，收發雙方協商通信時每一個報文段所能承載的最大數據長度(註意不包含TCP頭部大小)
-
如何探測路徑MTU值
Linux主機中: 執行
ping x.x.x.x -s 1422 -M do，x.x.x.x是目標地址，-s指明icmp報文的數據部分大小(不包含icmp 8位元組頭部)。-M do表示不允許分片。多試幾次，找到臨界點。以mtu為1450為例，1450 = 20位元組IP頭 + 8位元組icmp頭 + 1422數據，則-s指定為1422可以正常通過Windows主機中: 執行
ping x.x.x.x -l 1472 -f，x.x.x.x是目標地址，-l指明icmp報文的數據部分大小(不包含icmp 8位元組頭部)。-f表示不允許分片。 -
如何查看MTU
Linux: ifconfig
windows: netsh interface ipv4 show subinterfaces
-
如何設置MTU
Linux: ifconfig eth0 mtu xxx
windows: netsh interface ipv4 set subinterface "WLAN" mtu=1450 store=persistent
