分庫分表之拆分鍵設計

来源:https://www.cnblogs.com/88223100/archive/2023/09/20/Design-of-Splitting-Keys-for-Database-and-Table-Segmentation.html
-Advertisement-
Play Games

眾所周知，在現實世界中，每一個資源都有其提供能力的最大上限，當單一資源達到最大上限後就得讓多個資源同時提供其能力來滿足使用方的需求。同理，在電腦世界中，單一資料庫資源不能滿足使用需求時，我們也會考慮使用多個資料庫同時提供服務來滿足需求。當使用了多個資料庫來提供服務時，最為關鍵的點是如何讓每一個數據 ...


眾所周知，在現實世界中，每一個資源都有其提供能力的最大上限，當單一資源達到最大上限後就得讓多個資源同時提供其能力來滿足使用方的需求。同理，在電腦世界中，單一資料庫資源不能滿足使用需求時，我們也會考慮使用多個資料庫同時提供服務來滿足需求。當使用了多個資料庫來提供服務時，最為關鍵的點是如何讓每一個資料庫比較均勻的承擔壓力，而不至於其中的某些資料庫壓力過大，某些資料庫沒什麼壓力。這其中的關鍵點之一就是拆分鍵的設計。

一、 水平、垂直拆分

在關係資料庫中，當單個庫的負載、連接數、併發數等達到資料庫的最大上限時，就得考慮做資料庫和表的拆分。如一個簡單的電商資料庫，在業務初期，為了快速驗證業務模式，把用戶、商品、訂單都放到一個資料庫中，隨著業務的發展及用戶量的增長，單資料庫逐漸不能支撐業務（MySQL中單記錄容量超過1K時，單表數據量建議不超過一千萬條），這時就得考慮把資料庫和表做出拆分。
  • 垂直拆分：簡單的說就是將資料庫及表由一個拆分為多個，如我們這裡的電商資料庫，可以垂直拆分為用戶資料庫、商品資料庫和訂單資料庫，訂單表可以垂直拆分為訂單基本信息表，訂單收貨地址表、訂單商品表等，每一個表裡保存了一個訂單的一部分數據。
圖片
  • 水平拆分：簡單地說就是將一個庫、一個表擴展為多個庫，多個表，每一個拆分後的表中保存的依然是一個訂單的完整信息。如電商資料庫，我們按水平拆分資料庫和表後，每一個拆分後的資料庫表與現有未拆分前的都保持一致。
圖片
  • 常用拆分方法：上述僅從理論上講解了可行的水平、垂直拆分方法，在實際的生產上，我們拆分一般是按照水平拆表、垂直拆庫這一原則進行，在業務比較複雜的場景下也會對錶進行垂直拆分。
圖片
二、 拆分鍵的選取
分庫分表的關鍵項之一是拆分鍵的選取，一般情況下，拆分鍵的選取遵循以什麼維度進行查詢就選取該維度為拆分鍵。如：訂單表就以訂單號作為拆分鍵，商品表就以商品編號作為拆分鍵。拆分鍵選取後，對於一些非拆分鍵的單條件查詢，我們需要怎麼支持呢？在這裡提供3種方法供參考。
1、等值法：
對於非拆分鍵的單條件查詢，對這一個單條件的賦值，可以將其值與拆分鍵保持一致。比如在電商場景中，用戶下訂單後，需要通過物流給用戶把商品送到用戶手上。對於用戶來說僅能看到訂單信息，訂單上展示的物流信息用戶也是通過訂單號查詢而來；但對於物流系統來說，其系統里的業務主鍵（拆分鍵）是運單號，此時，運單號如果和訂單號相同，即可完美解決這一問題。訂單表和運單表的基本數據模型如下：
訂單表：
拆分鍵 商品編號 收貨地址
Order_id Sku_code address
運單表：
拆分鍵 訂單號 重量
Waybill_code Order_Id weight
2、索引法：
對於常用的非拆分鍵，我們可以將其與拆分鍵之間建立一個索引關係，當按該條件進行查詢時，先查詢對應的拆分鍵，再通過拆分鍵查詢對應的數據信息。訂單表的索引法查詢表模型如下：
索引表：
非拆分鍵查詢條件 拆分鍵
用戶編碼 訂單號
運單號 訂單號
3、基因法：
拆分鍵與非拆分鍵的單號生成規則中，存在相同規則的部分且該部分被用作拆分鍵來進行庫表的定位。比如：訂單號生成時，生成一個Long類型的單號，由於Long是64位的，我們可以用其低4位取模來定位該訂單存儲的資料庫及表，其他的表的拆分鍵也用Long類型的低4位取模來定位對應的資料庫及表。還是用訂單表和運單表的模型做解釋如下：
訂單表：
拆分鍵 商品編號 收貨地址
Order_id Sku_code address
運單表：
拆分鍵 訂單號 重量
Waybill_code Order_Id weight
當通過訂單表裡的訂單號查運單表時，可以直接用訂單號來查詢其對應的運單信息。

三、 拆分鍵的生成

拆分鍵選取後，接下來是拆分鍵的生成，拆分鍵的生成有多種方式，建議根據業務量及併發量的大小來確定拆分鍵生成的規則，在這裡介紹幾種常用的拆分鍵生成規則。
1、資料庫自增主鍵
在併發量不大的情況下，我們可以使用MySQL資料庫里的自增主鍵來實現拆分鍵。
2、UUID
在Java里，可以使用Java自帶的UUID工具類直接生成，UUID的組成：UUID=當前日期和時間+時鐘序列+全局唯一的IEEE機器識別號組成。其中，全局唯一的IEEE機器識別號一般是通過網卡的MAC地址獲得，沒有網卡時以其他的方式獲得。UUID生成的編號不會重覆，但不利於閱讀和理解。
3、雪花演算法
雪花演算法生成的ID是一個64位大小的整數，結構如下：
圖片
從其結構可以看出，第一位是符號位，在使用時一般不使用，後面的41位是時間位，是由時間戳來確定的，後面的10位是機器位，最後的12位是生成的ID序列，是每毫秒生成的ID數，即每毫秒可以生成4096個ID。從該結構可以看出，10位機器位決定了使用機器的上限，在某些業務場景下，需要所有的機器使用同一個業務空間，這可能導致機器超限；同時，每一個機器分配後如果機器宕機需要更換時，對ID的回收也需要有相應的策略；最為關鍵的一點是機器的時間是動態調整的，有可能會出現時間回退幾毫秒的情況，如果這個時候獲取到這個時間，則會生成重覆的ID，導致數據重覆。
四、 提升總結
單資料庫不能滿足業務場景的情況下，主要的思路還是要進行拆分，無論是NoSQL還是關係資料庫，隨著業務量的增長，都得需要把多個伺服器資源組合成一個整體共同來支撐業務。資料庫拆分後，如果業務上有多個複雜查詢條件的需求，一般就得把數據同步到NoSQL資料庫里，由NoSQL來提供支持。無論什麼時候，資料庫提供的主要能力是存儲能力，對於複雜的計算需求，一般是需要在業務邏輯里實現。
-end-
作者|廖宗雄

本文來自博客園，作者：古道輕風，轉載請註明原文鏈接：https://www.cnblogs.com/88223100/p/Design-of-Splitting-Keys-for-Database-and-Table-Segmentation.html


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 首次運行pyppeteer遇到報錯的定位思路與處理方法，MaxRetryError: HTTPSConnectionPool(host='storage.googleapis.com', port=443)
    一、Linux 的介紹 1）常見的操作系統 Windows，它微軟公司開發的一款桌面操作系統（閉源系統）。版本有dos、win98、win NT、win XP、win 7、win vista、win 8、win 10。伺服器操作系統：win server 2003、win server 2008、w ...
  • linux關閉終端，後臺程式不退出
    你要退出終端會話時，要是存在被停止的進程，會出現警告信息。但如果使用了後臺進程，只有某些終端模擬器會在你退出終端會話前提醒你還有後臺作業在運行。 如果希望運行在後臺模式的腳本在登出控制台後能夠繼續運行，我再一篇文章中看到，有方法可以實現。 有時你會想在終端會話中啟動shell腳本，然後讓腳本一直以後 ...
  • 讀高性能MySQL（第4版）筆記12_查詢性能優化（下）
    1. “快速、精確和實現簡單” 1.1. 三者永遠只能滿足其二，必須舍掉一個 2. 排序優化 2.1. 無論如何排序都是一個成本很高的操作，所以從性能角度考慮，應儘可能避免排序或者儘可能避免對大量數據進行排序 2.2. 文件排序（filesort） 2.2.1. MySQL需要自己進行排序，如果數據 ...
  • MySQL高級12-事務原理
    一、事務概念 事務是一組操作的集合，他是一個不可分割的工作單位，事務會把所有操作作為一個整體一起向系統提交或者撤銷請求操作，即這些操作要麼同時成功，要麼同時失敗。 二、事務特性 原子性（Atomicity）：事務是不可分割的最小操作單元，要麼全部成功，要麼全部失敗 一致性（Consistency）： ...
  • MySQL的欄位數量以及長度限制
    一、InnoDB行格式 行格式 緊湊的存儲特性 增強的可變長度列存儲 大型索引鍵首碼支持 壓縮支持 支持的表空間類型 REDUNDANT N N N N system, file-per-table, general COMPACT Y N N N system, file-per-table, g ...
  • 圖文結合丨GreatSQL MGR + ProxySQL集群搭建方案
    前言 ProxySQL ProxySQL 是基於 MySQL 的一款開源的中間件的產品，是一個靈活的 MySQL 代理層，可以實現讀寫分離，支持 Query 路由功能，支持動態指定某個 SQL 進行緩存，支持動態載入（無需重啟 ProxySQL 服務），故障切換和一些 SQL 的過濾功能。 Grea ...
  • MySQL常規優化操作
    查詢SQL語句執行頻率 查詢 mysql 服務啟動時長 SHOW STATUS LIKE 'uptime'; 下列輸出表示服務啟動了276324秒 + + + | Variable_name | Value | + + + | Uptime | 276324 | + + + 查詢全局SQL執行的頻率 ...
  • MySQL高級11-後臺進程
    一、前言 MySQL的服務實現通過後臺多個線程、記憶體池、文件交互來實現對外服務的，不同線程實現不同的資源操作，各個線程相互協助，共同來完成資料庫的服務。MySQL常用的後臺線程概括如下，分為Master Thread，IO Thread，Purge Thread，Page Cleaner Threa ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類