SQL查詢優化實踐

来源:https://www.cnblogs.com/zhuoqingsen/archive/2019/11/29/sqlOptimised.html
-Advertisement-
Play Games

為什麼要優化 系統的吞吐量瓶頸往往出現在資料庫的訪問速度上,即隨著應用程式的運行,資料庫的中的數據會越來越多,處理時間會相應變慢,且數據是存放在磁碟上的,讀寫速度無法和記憶體相比 如何優化 設計資料庫時:資料庫表、欄位的設計,存儲引擎 利用好MySQL自身提供的功能,如索引,語句寫法的調優 MySQL ...


為什麼要優化

  • 系統的吞吐量瓶頸往往出現在資料庫的訪問速度上,即隨著應用程式的運行,資料庫的中的數據會越來越多,處理時間會相應變慢,且數據是存放在磁碟上的,讀寫速度無法和記憶體相比

如何優化

  1. 設計資料庫時:資料庫表、欄位的設計,存儲引擎
  2. 利用好MySQL自身提供的功能,如索引,語句寫法的調優
  3. MySQL集群、分庫分表、讀寫分離

關於SQL語句的優化的方法方式,網路有很多經驗,所以本文拋開這些,設法在DAO層的優化和資料庫設計優化上建樹,併列舉兩個簡單實例

  例子1:ERP查詢優化

現狀分析:

1 缺少關聯索引
2 Mysql本身的性能所限,對多個表的關聯支持不好,目前的性能主要集中在列表查詢上面,列表查詢關聯了很多表

應對方法:
1 增加必要的索引:通過explain查看執行記錄,根據執行計劃添加索引;
2 先統計業務數據主表主鍵,獲取較小結果集,然後再利用結果集關聯查詢;
1) 先根據主表和條件查詢顯示業務數據的主鍵
2) 根據主鍵作為查詢條件,再關聯其他關聯表,查詢需要的業務欄位
3) 在主表查詢時,針對需要關聯其他表的查詢條件,需要做只有設置這個條件,才會做表關聯的設置

例如 有如下表 TT_A   TT_B    TT_C  TT_D

假設未優化前的SQL是這樣的

SELECT
    A.ID,
    ....
    B.NAME,
    .....
    C.AGE,
    ....
    D.SEX
    .....

FROM  TT_A A
LEFT JOIN TT_B B ON A.ID  = B.ITEM_ID
LEFT JOIN TT_C C ON B.ID = C.ITEM_ID
LEFT JOIN TT_D D ON C.ID = D.ITEM_ID
WHERE 1=1
AND A.XX = ?
AND A.VV = ?
.....

那麼優化後的SQL是

第一步

SELECT
    A.ID

FROM  TT_A A
WHERE 1=1
AND A.XX = ?
AND A.VV = ?

第二步

SELECT
    A.ID,
    ....
    B.NAME,
    .....
    C.AGE,
    ....
    D.SEX
    .....
FROM  ( SELECT A.ID,..... FROM  TT_A  WHERE ID IN (1,2,3..)  ) A
LEFT JOIN TT_B B ON A.ID  = B.ITEM_ID
LEFT JOIN TT_C C ON B.ID = C.ITEM_ID
LEFT JOIN TT_D D ON C.ID = D.ITEM_ID
WHERE 1=1
AND A.XX = ?
AND A.VV = ?

 小結:

這種優化適用於,列表查詢,因為一個列表查詢的條件一般都是和主表掛鉤的,所以利用這一點,建立關鍵欄位索引,同時通過查詢條件的限制大大的縮小主表的數據量。這樣關聯其他表的時候就會快的多

 

   例子2:文章搜索優化

  假設你要做個貼吧的文章搜索功能,最簡單直接的存儲結構,就是利用關係資料庫,創建這樣一個存儲文章的關係資料庫表 TT_ARTICLES:

 

  那麼,假如現在的搜索關鍵字是“目標”,我們就可以利用字元串匹配的方式來對 CONTENT 列進行匹配查詢:

select * from ARTICLES where CONTENT like '% 目標 %';

  這很容易就實現了搜索功能。但是,這樣的方式有著明顯的問題,即使用 % 來進行字元串匹配是非常低效的,因此這樣的查詢需要遍歷整個表(全表掃描)。幾篇、幾十篇文章的時 候,還不是什麼問題,但是如果有幾十萬、幾百萬的文章,這種方式是完全不可行的。且不說單獨的關係資料庫表就不能容納那麼大的數據了,就是能夠容納,要掃描一遍,這裡的時間代價是難以想象的

  於是,我們就要引入“倒排索引”的技術了。在前面所述的場景下, 我們可以把這個概念拆分為兩個部分來解釋: 好,那上面的 ARTICLES 表依然存在,但現在需要添加一個關鍵字表 KEYWORDS,並且,KEYWORD 列需要添加索引,因此這條關鍵字的記錄可以被迅速找到:

 

 

 當然,我們還需要一個關聯關係表把 KEYWORDS 表和 ARTICLES 表結合起來, KEYWORD_ID 和 ARTICLE_ID 作為聯合主鍵 

 

 

你看,這其實是一個多對多的關係,即同一個關鍵字可以出現在多篇文章中,而一篇文章可 以包含多個不同的關鍵字。這樣,我們可以先根據被索引了的關鍵字,從 KEYWARDS 表 中找到相應的 KEYWORD_ID,進而根據它在上面的關聯關係表找到 ARTICLE_ID,再根據 它去 ARTICLES 表中找到對應的文章。

 

小結:

  這看起來是三次查找,但是因為每次都走索引,就免去了全表掃描,在數據量較小的時候速 度並不慢,並且,在使用 SQL 實現的時候,這個過程完全可以放到一個 SQL 語句中。在數 據量較小的時候,上面的方法已經足夠好用了。 這樣解決了全表掃描和字元串 % 匹配查詢造成的性能問題。

 

總結:

  在技術面試的時候,如果你能舉出實際的例子,或者是直接說自己開發過程的問題和收穫會讓面試分會加很多,回答邏輯性也要強一點,不要東一點西一點,容易把自己都繞暈的。例如,問為怎麼優化SQL你不要一上來就直接回答加索引,你可以這樣回答:

  面試官您好,首先我們的項目DB數據量遇到了瓶頸,導致列表查詢非常緩慢,給用戶的體驗不好,為瞭解決這個問題,有很多種方法,例如最基本的資料庫表設計,基本的SQL優化,MYSQL的集群,讀寫分離,分庫分表,架構上增加緩存層等,他們的優缺點……,綜合這些然後再結合我們項目特點,最後我們在技術選型的時候選了誰。

  如果你這樣有條不紊,有理有據的回答了問題而且還說出這麼多問題外的知識點,面試官會覺得你不只是一個會寫代碼的人,而是你邏輯清晰,你對技術選型,有自己的理解和思考

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 配置虛擬用戶訪問 首先至少要關閉userlist 改完配置文件是要重啟服務來使它生效 其實在剛裝好vsftp的時候的配置文件不用修改的情況下配置虛擬用戶訪問控制是最好的 local_root選項不影響 本地用戶登錄的目錄和虛擬用戶登錄的目錄是不產生影響的 為防止有影響,把chroot也註釋了 配置虛 ...
  • 1、nginx 簡介(1)介紹 nginx 的應用場景和具體可以做什麼事情 (2)介紹什麼是反向代理 (3)介紹什麼是負載均衡 (4)介紹什麼是動靜分離 2、nginx 安裝(1)介紹 nginx 在 linux 系統中如何進行安裝 3、nginx 常用的命令和配置文件(1)介紹 nginx 啟動、 ...
  • 工作中用到的命令以及問題彙總 2019-11-29 查看系統運行時間,這個問題是因為我們在阿裡雲上有個機器,在某一天發現這台機器上有的服務莫名奇妙的停了,然後排查時懷疑機器被重啟過用如下如下命令查看了系統運行時間,發現果不其然機器就是被重啟過: 1 cat /proc/uptime| awk -F. ...
  • 目的:在VirtualBox中最小化安裝Centos7,記錄下最小化安裝後的相關操作以及安裝的軟體,方便以後再次安裝。 網路配置 設置了兩張網卡, 網卡1 的連接方式 網路地址轉換(NAT) 用於訪問外網, 網卡2 的連接方式 僅主機(Host Only)網路 用於和宿主主機通信。 一般網路配置路徑 ...
  • 典型神經網路模型:(圖片來源:https://github.com/madalinabuzau/tensorflow-eager-tutorials) 保持更新,更多內容請關註 cnblogs.com/xuyaowen; ...
  • 1. Apache Hadoop 1.1 Hadoop介紹 Hadoop是Apache旗下的一個用java語言實現的開源軟體框架, 是一個開發和運行處理大規模數據的軟體平臺. 允許使用簡單的編程模型在大量電腦集群上對大型數據集進行分散式處理. Hadoop不會跟某種具體的行業或者某個具體的業務掛鉤 ...
  • "1. 對日期的操作" "2. 對數字的操作" 1、對日期的操作 2、對數字的操作 ...
  • 下載並解壓MySQL 下載mysql-8.0.17-win64 \https://dev.mysql.com/downloads/mysql/8.0.html // 這裡提供的是8.0以上x64版本 解壓到任意位置,譬如: C:\mysql-8.0.17-winx64 (註意!! 此處的路徑一定要弄 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...