一個 MySQL 隱式轉換的坑,差點把伺服器整崩潰了

来源:https://www.cnblogs.com/fengzheng/archive/2022/11/10/16876158.html
-Advertisement-
Play Games

我是風箏,公眾號「古時的風箏」,專註於 Java技術 及周邊生態。 文章會收錄在 JavaNewBee 中,更有 Java 後端知識圖譜,從小白到大牛要走的路都在裡面。 本來是一個平靜而美好的下午,其他部門的同事要一份數據報表臨時彙報使用,因為系統目前沒有這個維度的功能,所以需要寫個SQL馬上出一下 ...


我是風箏,公眾號「古時的風箏」,專註於 Java技術 及周邊生態。
文章會收錄在 JavaNewBee 中,更有 Java 後端知識圖譜,從小白到大牛要走的路都在裡面。

本來是一個平靜而美好的下午,其他部門的同事要一份數據報表臨時彙報使用,因為系統目前沒有這個維度的功能,所以需要寫個SQL馬上出一下,一個同事接到這個任務,於是開始在測試環境拼裝這條 SQL,剛過了幾分鐘,同事已經自信的寫好了這條SQL,於是拿給DBA,到線上跑一下,用客戶端工具導出Excel 就好了,畢竟是臨時方案嘛。

就在SQL執行了之後,意外發生了,先是等了一下,發現還沒執行成功,猜測可能是數據量大的原因,但是隨著時間滴滴答答流逝,逐漸意識到情況不對了,一看監控,CPU已經上去了,但是線上數據量雖然不小,也不至於跑成這樣吧,眼看著要跑死了,趕緊把這個事務結束掉了。

什麼原因呢?查詢的條件和 join 連接的欄位基本都有索引,按道理不應該這樣啊,於是趕緊把SQL拿下來,也沒看出什麼問題,於是限制查詢條數再跑了一次,很快出結果了,但是結果卻大跌眼鏡,出來的查詢結果並不是預期的。

我到底做錯了什麼

經過一番檢查之後,最終發現了問題所在,是 join 連接中有一個欄位寫錯了,因為這兩個欄位有一部分名稱是相同的,於是智能的 SQL 客戶端給出了提示,順手就給敲上去了。但是接下來,更讓人迷惑了,因為要連接的欄位是 int 類型,而寫錯的這個欄位是 varchar 類型,難道不應該報錯嗎?怎麼還能正常執行,並且還有預期外的查詢結果?

難道是 MySQL 有 bug 了,必須要研究一下了。

復現當時的情景

假設有兩張表,這兩張表的結構和數據是下麵這樣的。

第一張 user表。

CREATE TABLE `user` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(50) COLLATE utf8_bin DEFAULT NULL,
  `age` int(3) DEFAULT NULL,
  `create_time` datetime DEFAULT NULL,
  `update_time` datetime DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8 COLLATE=utf8_bin;


INSERT INTO `user` VALUES (1, '張三', 28, '2022-09-06 07:40:56', '2022-09-06 07:40:59');

image-20220906074916227

第二張 order

CREATE TABLE `order` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `user_id` int(11) DEFAULT NULL,
  `order_code` varchar(64) COLLATE utf8_bin DEFAULT NULL,
  `money` decimal(20,0) DEFAULT NULL,
  `title` varchar(255) COLLATE utf8_bin DEFAULT NULL,
  `create_time` datetime DEFAULT NULL,
  `update_time` datetime DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8 COLLATE=utf8_bin;


INSERT INTO `order` VALUES (1, 2, '1d90530e-6ada-47c1-b2fa-adba4545aabd', 100, 'xxx購買兩件商品', '2022-09-06 07:42:25', '2022-09-06 07:42:27');

image-20220906075142861

目的是查看所有用戶的 order 記錄,假設數據量比較少,可以直接查,不考慮性能問題。

本來的 SQL 語句應該是這樣子的,查詢 order表中用戶iduser_iduser表的記錄。

select o.* from `user` u 
left JOIN `order` o on u.id = o.user_id;

但是呢,因為手抖,將 on 後面的條件寫成了 u.id = o.order_code,完全關聯錯誤,這兩個欄位完全沒有聯繫,而且u.id是 int 類型,o.order_codevarchar類型。

select o.* from `user` u 
left JOIN `order` o on u.id = o.order_code;

這樣的話, 當我們執行這條語句的時候,會不會查出數據來呢?

我的第一感覺是,不僅不會查出數據,而且還會報錯,因為連接的這兩個欄位類型都不一樣,值更不一樣。

結果卻被啪啪打臉,不僅沒有報錯,而且還查出了數據。

image-20221101174113767

可以把這個問題簡化一下,簡化成下麵這條語句,同樣也會出現問題。

select * from `order` where order_code = 1;

image-20221101210742113

明明這條記錄的 order_code 欄位的值是 1d90530e-6ada-47c1-b2fa-adba4545aabd,怎麼用 order_code=1的條件就把它給查出來了。

根源所在

相信有的同學已經猜出來了,這裡是 MySQL 進行了隱式轉換,由於查詢條件後面跟的查詢值是整型的,所以 MySQL 將 order_code欄位進行了字元串到整數類型的轉換,而轉換後的結果正好是 1

通過 cast函數轉換驗證一下結果。

select cast('1d90530e-6ada-47c1-b2fa-adba4545aabd' as unsigned);

image-20221101212111341

再用兩條 SQL 看一下字元串到整數類型轉換的規則。

select cast('223kkk' as unsigned);
select cast('k223kkk' as unsigned);

image-20221101212300554

223kkk轉換後的結果是 223,而k223kkk轉換後的結果是0。總結一下,轉換的規則是:

1、從字元串的左側開始向右轉換,遇到非數字就停止;

2、如果第一個就是非數字,最後的結果就是0;

隱式轉換的規則

當操作符與不同類型的操作數一起使用的時候,就會發生隱式轉換。

例如算數運算符的前後是不同類型時,會將非數字類型轉換為數字,比如 '5a'+2,就會將5a轉換為數字類型,然後和2相加,最後的結果就是 7 。

image-20221101213326375

再比如 concat函數是連接兩個字元串的,當此函數的參數出現非字元串類型時,就會將其轉換為字元串,例如concat(88,'就是發'),最後的結果就是 88就是發

image-20221101213611080

MySQL 官方文檔有以下幾條關於隱式轉換的規則:

1、兩個參數至少有一個是 NULL 時,比較的結果也是 NULL,例外是使用 <=> 對兩個 NULL 做比較時會返回 1,這兩種情況都不需要做類型轉換;

也就是兩個參數中如果只有一個是NULL,則不管怎麼比較結果都是 NULL,而兩個 NULL 的值不管是判斷大於、小於或等於,其結果都是1。

2、兩個參數都是字元串,會按照字元串來比較,不做類型轉換;

3、兩個參數都是整數,按照整數來比較,不做類型轉換;

4、十六進位的值和非數字做比較時,會被當做二進位字元串;

例如下麵這條語句,查詢 user 表中name欄位是 0x61 的記錄,0x是16進位寫法,其對應的字元串是英文的 'a',也就是它對應的 ASCII 碼。

select * from user where name = 0x61;

所以,上面這條語句其實等同於下麵這條

select * from user where name = 'a';

可以用 select 0x61;驗證一下。

5、有一個參數是 TIMESTAMP 或 DATETIME,並且另外一個參數是常量,常量會被轉換為 時間戳;

例如下麵這兩條SQL,都是將條件後面的值轉換為時間戳再比較了,只不過

image-20221102100731306

6、有一個參數是 decimal 類型,如果另外一個參數是 decimal 或者整數,會將整數轉換為 decimal 後進行比較,如果另外一個參數是浮點數(一般預設是 double),則會把 decimal 轉換為浮點數進行比較;

在不同的數值類型之間,總是會向精度要求更高的那一個類型轉換,但是有一點要註意,在MySQL 中浮點數的精度只有53 bit,超過53bit之後的話,如果後面1位是1就進位,如果是0就直接捨棄。所以超大浮點數在比較的時候其實只是取的近似值。

7、所有其他情況下,兩個參數都會被轉換為浮點數再進行比較;

如果不符合上面6點規則,則統一轉成浮點數再進行運算

避免進行隱式轉換

我們在平時的開發過程中,儘量要避免隱式轉換,因為一旦發生隱式轉換除了會降低性能外, 還有很大可能會出現不期望的結果,就像我最開始遇到的那個問題一樣。

之所以性能會降低,還有一個原因就是讓本來有的索引失效。

select * from `order` where order_code = 1;

order_code 是 varchar 類型,假設我已經在 order_code 上建立了索引,如果是用“=”做查詢條件的話,應該直接命中索引才對,查詢速度會很快。但是,當查詢條件後面的值類型不是 varchar,而是數值類型的話,MySQL 首先要對 order_code 欄位做類型轉換,轉換為數值類型,這時候,之前建的索引也就不會命中,只能走全表掃描,查詢性能指數級下降,搞不好,資料庫直接查崩了。


這位英俊瀟灑的少年,如果覺得還不錯的話,給個推薦可好!

公眾號「古時的風箏」,Java 開發者,全棧工程師,bug 殺手,擅長解決問題。
一個兼具深度與廣度的程式員鼓勵師,本打算寫詩卻寫起了代碼的田園碼農!堅持原創乾貨輸出,你可選擇現在就關註我,或者看看歷史文章再關註也不遲。長按二維碼關註,跟我一起變優秀!

人生沒有回頭路,珍惜當下。
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 2022年11月8日.NET 7正式發佈 .NET仍然是最快、最受歡迎、最值得信賴的平臺之一,其龐大的.NET軟體包生態系統包括33萬多個軟體包。 .NET 7為您的應用程式帶來了更高的性能和C# 11/F# 7、.NET MAUI、ASP.NET Core/Blazor、Web APIs、WinF ...
  • 一:背景 1.講故事 有朋友咨詢個問題,他每次在調試 WinDbg 的時候,進程初始化斷點之前都會有一些 dll 載入到進程中,比如下麵這樣: Microsoft (R) Windows Debugger Version 10.0.25200.1003 X86 Copyright (c) Micro ...
  • 依賴管理是 NuGet 的核心功能。Nuget管理單個項目的依賴關係很容易。管理多項目解決方案的依賴關係可能會變得很困難,因為它們的規模和複雜性開始擴大。 在您管理許多不同項目的公共依賴項的情況下,您可以利用 NuGet 的中央包管理功能從一個位置輕鬆完成所有這些工作。 要開始使用中央包管理,您可以 ...
  • 前言 之前想用Markdown來寫框架文檔,找來找去發現還是Jekyll的多,但又感覺不是很合我的需求 於是打算自己簡單弄一個展示Markdown文檔的網站工具,要支持多版本、多語言、導航、頁內導航等,並且支持Github Pages免費站點 組件選擇 我自己呢比較喜歡C#,恰好現在ASP.Net ...
  • Part One: System call tracing 任務:修改Xv6內核的代碼來列印出每個系統調用以及返回值 根據提示,應該在syscall.c中修改syscall()。 首先在syscall.c中增加對應系統調用名稱的數組: static char *syscalls_name[] = { ...
  • 前幾日考慮給ubuntu安裝圖形桌面驅動。第一次安裝是在圖形界面下啟動終端軟體跑的NVIDIA給的安裝腳本,結果它跑了一半自動重啟了圖形界面,導致腳本被退出了。測試發現顯卡確實已被驅動,但由於擔心會不會有某些組件缺失,便退出到tty完完整整重新又跑了遍腳本。結果這一下一弄,重啟後再次啟動則在引導完成 ...
  • Arnold for Cinema 4D是用於C4D R25的阿諾德渲染器,支持R25.010 及以上的C4D,SolidAngle Cinema 4D To Arnold 是一款先進的蒙特卡洛光線追蹤渲染器,專為動畫長度和視覺效果的需求而打造。 詳情:C4D R25插件:Arnold for Ci ...
  • 一、什麼是 SQLite 資料庫 SQLite 是嵌入式SQL資料庫引擎。與大多數其他 SQL 資料庫不同,SQLite 沒有單獨的伺服器進程。SQLite 直接讀取和寫入普通磁碟文件。具有多個表,索引,觸發器和視圖的完整 SQL 資料庫包含在單個磁碟文件中。資料庫文件格式是跨平臺的-您可以在32位 ...
一周排行
    -Advertisement-
    Play Games
  • 概述:在C#中,++i和i++都是自增運算符,其中++i先增加值再返回,而i++先返回值再增加。應用場景根據需求選擇,首碼適合先增後用,尾碼適合先用後增。詳細示例提供清晰的代碼演示這兩者的操作時機和實際應用。 在C#中,++i 和 i++ 都是自增運算符,但它們在操作上有細微的差異,主要體現在操作的 ...
  • 上次發佈了:Taurus.MVC 性能壓力測試(ap 壓測 和 linux 下wrk 壓測):.NET Core 版本,今天計劃準備壓測一下 .NET 版本,來測試並記錄一下 Taurus.MVC 框架在 .NET 版本的性能,以便後續持續優化改進。 為了方便對比,本文章的電腦環境和測試思路,儘量和... ...
  • .NET WebAPI作為一種構建RESTful服務的強大工具,為開發者提供了便捷的方式來定義、處理HTTP請求並返迴響應。在設計API介面時,正確地接收和解析客戶端發送的數據至關重要。.NET WebAPI提供了一系列特性,如[FromRoute]、[FromQuery]和[FromBody],用 ...
  • 原因:我之所以想做這個項目,是因為在之前查找關於C#/WPF相關資料時,我發現講解圖像濾鏡的資源非常稀缺。此外,我註意到許多現有的開源庫主要基於CPU進行圖像渲染。這種方式在處理大量圖像時,會導致CPU的渲染負擔過重。因此,我將在下文中介紹如何通過GPU渲染來有效實現圖像的各種濾鏡效果。 生成的效果 ...
  • 引言 上一章我們介紹了在xUnit單元測試中用xUnit.DependencyInject來使用依賴註入,上一章我們的Sample.Repository倉儲層有一個批量註入的介面沒有做單元測試,今天用這個示例來演示一下如何用Bogus創建模擬數據 ,和 EFCore 的種子數據生成 Bogus 的優 ...
  • 一、前言 在自己的項目中,涉及到實時心率曲線的繪製,項目上的曲線繪製,一般很難找到能直接用的第三方庫,而且有些還是定製化的功能,所以還是自己繪製比較方便。很多人一聽到自己畫就害怕,感覺很難,今天就分享一個完整的實時心率數據繪製心率曲線圖的例子;之前的博客也分享給DrawingVisual繪製曲線的方 ...
  • 如果你在自定義的 Main 方法中直接使用 App 類並啟動應用程式,但發現 App.xaml 中定義的資源沒有被正確載入,那麼問題可能在於如何正確配置 App.xaml 與你的 App 類的交互。 確保 App.xaml 文件中的 x:Class 屬性正確指向你的 App 類。這樣,當你創建 Ap ...
  • 一:背景 1. 講故事 上個月有個朋友在微信上找到我,說他們的軟體在客戶那邊隔幾天就要崩潰一次,一直都沒有找到原因,讓我幫忙看下怎麼回事,確實工控類的軟體環境複雜難搞,朋友手上有一個崩潰的dump,剛好丟給我來分析一下。 二:WinDbg分析 1. 程式為什麼會崩潰 windbg 有一個厲害之處在於 ...
  • 前言 .NET生態中有許多依賴註入容器。在大多數情況下,微軟提供的內置容器在易用性和性能方面都非常優秀。外加ASP.NET Core預設使用內置容器,使用很方便。 但是筆者在使用中一直有一個頭疼的問題:服務工廠無法提供請求的服務類型相關的信息。這在一般情況下並沒有影響,但是內置容器支持註冊開放泛型服 ...
  • 一、前言 在項目開發過程中,DataGrid是經常使用到的一個數據展示控制項,而通常表格的最後一列是作為操作列存在,比如會有編輯、刪除等功能按鈕。但WPF的原始DataGrid中,預設只支持固定左側列,這跟大家習慣性操作列放最後不符,今天就來介紹一種簡單的方式實現固定右側列。(這裡的實現方式參考的大佬 ...