MySQL運維3-分庫分表策略

来源:https://www.cnblogs.com/Se7eN-HOU/archive/2023/12/12/17897640.html
-Advertisement-
Play Games

一、介紹 單庫瓶頸:如果在項目中使用的都是單MySQL伺服器,則會隨著互聯網及移動互聯網的發展,應用系統的數據量也是成指數式增長,若採用單資料庫進行存儲,存在一下性能瓶頸: IO瓶頸:熱點數據太多,資料庫緩存不足,產生大量磁碟IO,效率低下,請求數據太多,帶寬不夠,網路IO瓶頸。 CPU瓶頸:排序、 ...


一、介紹

  單庫瓶頸:如果在項目中使用的都是單MySQL伺服器,則會隨著互聯網及移動互聯網的發展,應用系統的數據量也是成指數式增長,若採用單資料庫進行存儲,存在一下性能瓶頸:

  1. IO瓶頸:熱點數據太多,資料庫緩存不足,產生大量磁碟IO,效率低下,請求數據太多,帶寬不夠,網路IO瓶頸。
  2. CPU瓶頸:排序、分組、連接查詢、聚合統計等SQL會耗費大量的CPU資源,請求數太多,CPU出現瓶頸。

  分庫分表:就是將數據分散存儲,是將單一資料庫/表的數據量變小來緩解單一資料庫的性能問題,從而達到提升資料庫性能的目的。

  

二、拆分策略

  

  2.1 垂直分庫

    特點:以表為依據,根據業務將不同表拆分到不同庫中。

    • 每個庫的表結構都不一樣
    • 每個表的數據也不一樣
    • 所有庫的並集是全量數據

  

  2.2 垂直分表

    特點:以欄位為依據,根據欄位屬性將不同欄位分到不同表中 。

    • 每個表的結構都不一樣
    • 每個表的數據也不一樣,一般通過一列(主鍵/外鍵)管理
    • 所有表的並集是全量數據

    

  2.3 水平分庫 

    特點:以欄位為依據,按照一定策略,將一個庫的數據拆分到多個庫中

    • 每個庫的表結構一樣。
    • 每個庫的數據都不一樣
    • 所有庫的並集是全量數據

    

  2.4 水平分表

    特點:以欄位為依據,按照一定策略,將一個表的數據拆分到多個表中。

    • 每個表的結構都一樣
    • 每個表的數據都不一樣
    • 所有表的並集是全量數據

  2.5 組合策略  

    在實際應用中,可以同時採用分庫和分表的策略,根據業務需求和系統負載情況來選擇合適的分庫分表策略。

三、分庫分別鍵

  3.1 業務鍵

    根據業務需求,選擇具有業務含義的鍵作為分庫分表的依據,例如,按照用戶ID分表

  3.2 時間鍵

    對於大部分應用來說,按時間進行分表是一個常見的選擇,可以更容易地管理歷史數據

  3.3 哈希建

    使用哈希函數將數據均勻地分散到不同的庫或表中,以防止熱點數據集中存儲

  3.4 範圍鍵

    按照數據範圍進行分表,適用於數據按照某一範圍規律增長的情況

 


侯哥語錄:我曾經是一個職業教育者,現在是一個自由開發者。我希望我的分享可以和更多人一起進步。分享一段我喜歡的話給大家:"我所理解的自由不是想乾什麼就乾什麼,而是想不幹什麼就不幹什麼。當你還沒有能力說不得時候,就努力讓自己變得強大,擁有說不得權利。"
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 模型創建分為正向工程(CodeFirst)與反向工程(DbFirst). 正向工程的模型配置也可以創建任意的資料庫關係對象,如:欄位,欄位說明,表,索引,外鍵等等。 可在派生上下文中替代 OnModelCreating 方法,並使用 ModelBuilder API 來配置模型。 此配置方法最為有效 ...
  • 1. 快速入門 創建新的控制台項目 dotnet new console -o EFGetStarted cd EFGetStarted 安裝 Entity Framework Core 要安裝 EF Core,請為要作為目標對象的 EF Core 資料庫提供程式安裝程式包。 本教程使用 SQLit ...
  • 在開發過程中有時候我們需要對現有對象進行克隆,我們可以使用DeepCloner類庫來完成這個需求功能。 DeepCloner 類庫 功能: 深度克隆: DeepCloner 提供深度克隆對象的能力,遞歸地克隆對象圖中的所有引用類型屬性。 迴圈引用處理: 能夠處理對象圖中的迴圈引用,防止無限遞歸。 自 ...
  • 一:背景 1. 講故事 上周有位朋友找到我,說他的程式經常會偶發性崩潰,一直沒找到原因,自己也抓了dump 也沒分析出個所以然,讓我幫忙看下怎麼回事,那既然有 dump,那就開始分析唄。 二:Windbg 分析 1. 到底是哪裡的崩潰 一直跟蹤我這個系列的朋友應該知道分析崩潰第一個命令就是 !ana ...
  • 前言 上一篇,我只實現了一鍵檢測代碼變化,本篇才是真正的實現了一鍵打包發佈 效果圖 客戶端打包待發佈文件 /// <summary> /// 把多個文件添加到壓縮包 (保留文件夾層級關係) /// </summary> public static async Task<ZipFileResult> ...
  • 文件資源管理器(WIN+E快捷鍵打開的窗格)就這樣的,然後我們就會進某個磁碟找對應的文件或文件夾下的文件,進行一定的操作 但是有註意過嗎 ,這些窗格“展示列”(先這樣稱呼吧,官方的名稱應該是:可用的列,例如:,官網地址:如何更改在 Windows 資源管理器中的列設置 - Microsoft 支持) ...
  • 註意:本文基於 Android 11 進行分析 Qidi 2023.11.28 (MarkDown & Haroopad) 0. 簡介 Android RO (Resource Overlay) 機制 Overlay 實現的效果正如其字面意思,就是“在原有效果的基礎上再疊加一些效果”。 Androi ...
  • 原文地址:https://www.soughttech.com/front/article/7159/viewArticle 今天我偶然看到了參數slave_exec_mode。從手冊中的描述可以看出,該參數與MySQL複製有關。它是一個可以動態修改的變數。預設為STRICT mode(嚴格模式), ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...