分庫分表之拆分鍵設計

来源:https://www.cnblogs.com/88223100/archive/2023/09/20/Design-of-Splitting-Keys-for-Database-and-Table-Segmentation.html
-Advertisement-
Play Games

眾所周知，在現實世界中，每一個資源都有其提供能力的最大上限，當單一資源達到最大上限後就得讓多個資源同時提供其能力來滿足使用方的需求。同理，在電腦世界中，單一資料庫資源不能滿足使用需求時，我們也會考慮使用多個資料庫同時提供服務來滿足需求。當使用了多個資料庫來提供服務時，最為關鍵的點是如何讓每一個數據 ...


眾所周知，在現實世界中，每一個資源都有其提供能力的最大上限，當單一資源達到最大上限後就得讓多個資源同時提供其能力來滿足使用方的需求。同理，在電腦世界中，單一資料庫資源不能滿足使用需求時，我們也會考慮使用多個資料庫同時提供服務來滿足需求。當使用了多個資料庫來提供服務時，最為關鍵的點是如何讓每一個資料庫比較均勻的承擔壓力，而不至於其中的某些資料庫壓力過大，某些資料庫沒什麼壓力。這其中的關鍵點之一就是拆分鍵的設計。

一、 水平、垂直拆分

在關係資料庫中，當單個庫的負載、連接數、併發數等達到資料庫的最大上限時，就得考慮做資料庫和表的拆分。如一個簡單的電商資料庫，在業務初期，為了快速驗證業務模式，把用戶、商品、訂單都放到一個資料庫中，隨著業務的發展及用戶量的增長，單資料庫逐漸不能支撐業務（MySQL中單記錄容量超過1K時，單表數據量建議不超過一千萬條），這時就得考慮把資料庫和表做出拆分。
  • 垂直拆分：簡單的說就是將資料庫及表由一個拆分為多個，如我們這裡的電商資料庫，可以垂直拆分為用戶資料庫、商品資料庫和訂單資料庫，訂單表可以垂直拆分為訂單基本信息表，訂單收貨地址表、訂單商品表等，每一個表裡保存了一個訂單的一部分數據。
圖片
  • 水平拆分：簡單地說就是將一個庫、一個表擴展為多個庫，多個表，每一個拆分後的表中保存的依然是一個訂單的完整信息。如電商資料庫，我們按水平拆分資料庫和表後，每一個拆分後的資料庫表與現有未拆分前的都保持一致。
圖片
  • 常用拆分方法：上述僅從理論上講解了可行的水平、垂直拆分方法，在實際的生產上，我們拆分一般是按照水平拆表、垂直拆庫這一原則進行，在業務比較複雜的場景下也會對錶進行垂直拆分。
圖片
二、 拆分鍵的選取
分庫分表的關鍵項之一是拆分鍵的選取，一般情況下，拆分鍵的選取遵循以什麼維度進行查詢就選取該維度為拆分鍵。如：訂單表就以訂單號作為拆分鍵，商品表就以商品編號作為拆分鍵。拆分鍵選取後，對於一些非拆分鍵的單條件查詢，我們需要怎麼支持呢？在這裡提供3種方法供參考。
1、等值法：
對於非拆分鍵的單條件查詢，對這一個單條件的賦值，可以將其值與拆分鍵保持一致。比如在電商場景中，用戶下訂單後，需要通過物流給用戶把商品送到用戶手上。對於用戶來說僅能看到訂單信息，訂單上展示的物流信息用戶也是通過訂單號查詢而來；但對於物流系統來說，其系統里的業務主鍵（拆分鍵）是運單號，此時，運單號如果和訂單號相同，即可完美解決這一問題。訂單表和運單表的基本數據模型如下：
訂單表：
拆分鍵 商品編號 收貨地址
Order_id Sku_code address
運單表：
拆分鍵 訂單號 重量
Waybill_code Order_Id weight
2、索引法：
對於常用的非拆分鍵，我們可以將其與拆分鍵之間建立一個索引關係，當按該條件進行查詢時，先查詢對應的拆分鍵，再通過拆分鍵查詢對應的數據信息。訂單表的索引法查詢表模型如下：
索引表：
非拆分鍵查詢條件 拆分鍵
用戶編碼 訂單號
運單號 訂單號
3、基因法：
拆分鍵與非拆分鍵的單號生成規則中，存在相同規則的部分且該部分被用作拆分鍵來進行庫表的定位。比如：訂單號生成時，生成一個Long類型的單號，由於Long是64位的，我們可以用其低4位取模來定位該訂單存儲的資料庫及表，其他的表的拆分鍵也用Long類型的低4位取模來定位對應的資料庫及表。還是用訂單表和運單表的模型做解釋如下：
訂單表：
拆分鍵 商品編號 收貨地址
Order_id Sku_code address
運單表：
拆分鍵 訂單號 重量
Waybill_code Order_Id weight
當通過訂單表裡的訂單號查運單表時，可以直接用訂單號來查詢其對應的運單信息。

三、 拆分鍵的生成

拆分鍵選取後，接下來是拆分鍵的生成，拆分鍵的生成有多種方式，建議根據業務量及併發量的大小來確定拆分鍵生成的規則，在這裡介紹幾種常用的拆分鍵生成規則。
1、資料庫自增主鍵
在併發量不大的情況下，我們可以使用MySQL資料庫里的自增主鍵來實現拆分鍵。
2、UUID
在Java里，可以使用Java自帶的UUID工具類直接生成，UUID的組成：UUID=當前日期和時間+時鐘序列+全局唯一的IEEE機器識別號組成。其中，全局唯一的IEEE機器識別號一般是通過網卡的MAC地址獲得，沒有網卡時以其他的方式獲得。UUID生成的編號不會重覆，但不利於閱讀和理解。
3、雪花演算法
雪花演算法生成的ID是一個64位大小的整數，結構如下：
圖片
從其結構可以看出，第一位是符號位，在使用時一般不使用，後面的41位是時間位，是由時間戳來確定的，後面的10位是機器位，最後的12位是生成的ID序列，是每毫秒生成的ID數，即每毫秒可以生成4096個ID。從該結構可以看出，10位機器位決定了使用機器的上限，在某些業務場景下，需要所有的機器使用同一個業務空間，這可能導致機器超限；同時，每一個機器分配後如果機器宕機需要更換時，對ID的回收也需要有相應的策略；最為關鍵的一點是機器的時間是動態調整的，有可能會出現時間回退幾毫秒的情況，如果這個時候獲取到這個時間，則會生成重覆的ID，導致數據重覆。
四、 提升總結
單資料庫不能滿足業務場景的情況下，主要的思路還是要進行拆分，無論是NoSQL還是關係資料庫，隨著業務量的增長，都得需要把多個伺服器資源組合成一個整體共同來支撐業務。資料庫拆分後，如果業務上有多個複雜查詢條件的需求，一般就得把數據同步到NoSQL資料庫里，由NoSQL來提供支持。無論什麼時候，資料庫提供的主要能力是存儲能力，對於複雜的計算需求，一般是需要在業務邏輯里實現。
-end-
作者|廖宗雄

本文來自博客園，作者：古道輕風，轉載請註明原文鏈接：https://www.cnblogs.com/88223100/p/Design-of-Splitting-Keys-for-Database-and-Table-Segmentation.html


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 首次運行pyppeteer遇到報錯的定位思路與處理方法，MaxRetryError: HTTPSConnectionPool(host='storage.googleapis.com', port=443)
    一、Linux 的介紹 1）常見的操作系統 Windows，它微軟公司開發的一款桌面操作系統（閉源系統）。版本有dos、win98、win NT、win XP、win 7、win vista、win 8、win 10。伺服器操作系統：win server 2003、win server 2008、w ...
  • linux關閉終端，後臺程式不退出
    你要退出終端會話時，要是存在被停止的進程，會出現警告信息。但如果使用了後臺進程，只有某些終端模擬器會在你退出終端會話前提醒你還有後臺作業在運行。 如果希望運行在後臺模式的腳本在登出控制台後能夠繼續運行，我再一篇文章中看到，有方法可以實現。 有時你會想在終端會話中啟動shell腳本，然後讓腳本一直以後 ...
  • 讀高性能MySQL（第4版）筆記12_查詢性能優化（下）
    1. “快速、精確和實現簡單” 1.1. 三者永遠只能滿足其二，必須舍掉一個 2. 排序優化 2.1. 無論如何排序都是一個成本很高的操作，所以從性能角度考慮，應儘可能避免排序或者儘可能避免對大量數據進行排序 2.2. 文件排序（filesort） 2.2.1. MySQL需要自己進行排序，如果數據 ...
  • MySQL高級12-事務原理
    一、事務概念 事務是一組操作的集合，他是一個不可分割的工作單位，事務會把所有操作作為一個整體一起向系統提交或者撤銷請求操作，即這些操作要麼同時成功，要麼同時失敗。 二、事務特性 原子性（Atomicity）：事務是不可分割的最小操作單元，要麼全部成功，要麼全部失敗 一致性（Consistency）： ...
  • MySQL的欄位數量以及長度限制
    一、InnoDB行格式 行格式 緊湊的存儲特性 增強的可變長度列存儲 大型索引鍵首碼支持 壓縮支持 支持的表空間類型 REDUNDANT N N N N system, file-per-table, general COMPACT Y N N N system, file-per-table, g ...
  • 圖文結合丨GreatSQL MGR + ProxySQL集群搭建方案
    前言 ProxySQL ProxySQL 是基於 MySQL 的一款開源的中間件的產品，是一個靈活的 MySQL 代理層，可以實現讀寫分離，支持 Query 路由功能，支持動態指定某個 SQL 進行緩存，支持動態載入（無需重啟 ProxySQL 服務），故障切換和一些 SQL 的過濾功能。 Grea ...
  • MySQL常規優化操作
    查詢SQL語句執行頻率 查詢 mysql 服務啟動時長 SHOW STATUS LIKE 'uptime'; 下列輸出表示服務啟動了276324秒 + + + | Variable_name | Value | + + + | Uptime | 276324 | + + + 查詢全局SQL執行的頻率 ...
  • MySQL高級11-後臺進程
    一、前言 MySQL的服務實現通過後臺多個線程、記憶體池、文件交互來實現對外服務的，不同線程實現不同的資源操作，各個線程相互協助，共同來完成資料庫的服務。MySQL常用的後臺線程概括如下，分為Master Thread，IO Thread，Purge Thread，Page Cleaner Threa ...
一周排行
    -Advertisement-
    Play Games
  • WPF 已知問題 監聽 WMI 事件導致觸摸失效
    示例項目結構 在 Visual Studio 中創建一個 WinForms 應用程式後，項目結構如下所示： MyWinFormsApp/ │ ├───Properties/ │ └───Settings.settings │ ├───bin/ │ ├───Debug/ │ └───Release/ ...
  • [STAThread]特性
    [STAThread] 特性用於需要與 COM 組件交互的應用程式，尤其是依賴單線程模型（如 Windows Forms 應用程式）的組件。在 STA 模式下，線程擁有自己的消息迴圈，這對於處理用戶界面和某些 COM 組件是必要的。 [STAThread] static void Main(stri ...
  • UWP WinUI3 傳入 AddHandler 的 RoutedEventHandler 類型與事件所需不匹配將拋出參數異常
    在WinForm中使用全局異常捕獲處理 在WinForm應用程式中，全局異常捕獲是確保程式穩定性的關鍵。通過在Program類的Main方法中設置全局異常處理，可以有效地捕獲並處理未預見的異常，從而避免程式崩潰。 註冊全局異常事件 [STAThread] static void Main() { / ...
  • .NET 多版本 WinForm 開源控制項庫 SunnyUI
    前言 給大家推薦一款開源的 Winform 控制項庫，可以幫助我們開發更加美觀、漂亮的 WinForm 界面。 項目介紹 SunnyUI.NET 是一個基於 .NET Framework 4.0+、.NET 6、.NET 7 和 .NET 8 的 WinForm 開源控制項庫，同時也提供了工具類庫、擴展 ...
  • .net core8 使用Swagger（附當前源碼）
    說明 該文章是屬於OverallAuth2.0系列文章，每周更新一篇該系列文章（從0到1完成系統開發）。 該系統文章，我會儘量說的非常詳細，做到不管新手、老手都能看懂。 說明：OverallAuth2.0 是一個簡單、易懂、功能強大的許可權+可視化流程管理系統。 有興趣的朋友，請關註我吧(*^▽^*) ...
  • WPF 什麼時候 VisualTreeHelper.GetDescendantBounds 將返回無窮大
    一、下載安裝 1.下載git 必須先下載並安裝git，再TortoiseGit下載安裝 git安裝參考教程：https://blog.csdn.net/mukes/article/details/115693833 2.TortoiseGit下載與安裝 TortoiseGit，Git客戶端，32/6 ...
  • C# 開源教程帶你輕鬆掌握數據結構與演算法
    前言 在項目開發過程中，理解數據結構和演算法如同掌握蓋房子的秘訣。演算法不僅能幫助我們編寫高效、優質的代碼，還能解決項目中遇到的各種難題。 給大家推薦一個支持C#的開源免費、新手友好的數據結構與演算法入門教程：Hello演算法。 項目介紹 《Hello Algo》是一本開源免費、新手友好的數據結構與演算法入門 ...
  • 第22篇 生成proto文件bat腳本
    1.生成單個Proto.bat內容 @rem Copyright 2016, Google Inc. @rem All rights reserved. @rem @rem Redistribution and use in source and binary forms, with or with ...
  • 記一次 .NET某上位機視覺程式 卡死分析
    一：背景 1. 講故事 前段時間有位朋友找到我，說他的窗體程式在客戶這邊出現了卡死，讓我幫忙看下怎麼回事？dump也生成了，既然有dump了那就上 windbg 分析吧。 二：WinDbg 分析 1. 為什麼會卡死 窗體程式的卡死，入口門檻很低，後續往下分析就不一定了，不管怎麼說先用 !clrsta ...
  • 醫學DICOM文件與PACS系統進行數據傳輸
    前言 人工智慧時代，人臉識別技術已成為安全驗證、身份識別和用戶交互的關鍵工具。 給大家推薦一款.NET 開源提供了強大的人臉識別 API，工具不僅易於集成，還具備高效處理能力。 本文將介紹一款如何利用這些API，為我們的項目添加智能識別的亮點。 項目介紹 GitHub 上擁有 1.2k 星標的 C# ...
所有分類