MyCAT詳解

来源:https://www.cnblogs.com/rangle/archive/2018/01/02/8176362.html
-Advertisement-
Play Games

一、MyCAT概述 MyCAT是一款由阿裡Cobar演變而來的用於支持資料庫讀寫分離、分片的分散式中間件。MyCAT可不但支持Oracle、MSSQL、MYSQL、PG、DB2關係型資料庫,同時也支持MongoDB等非關係型資料庫。基礎架構如下: 1、MyCAT原理 MyCAT主要是通過對SQL的攔 ...


一、MyCAT概述
MyCAT是一款由阿裡Cobar演變而來的用於支持資料庫讀寫分離、分片的分散式中間件。MyCAT可不但支持Oracle、MSSQL、MYSQL、PG、DB2關係型資料庫,同時也支持MongoDB等非關係型資料庫。基礎架構如下:

1、MyCAT原理

MyCAT主要是通過對SQL的攔截,然後經過一定規則的分片解析、路由分析、讀寫分離分析、緩存分析等,然後將SQL發給後端真實的數據塊,並將返回的結果做適當處理返回給客戶端。

  

2、MyCAT功能
(1)資料庫分片(Sharding)

通過某種條件,將同一資料庫中的數據分散的存儲到多個資料庫中,已達到分散單台資料庫設備負載的效果,這就是資料庫分片。
a.水平拆分
同一張表的不同記錄,根據表的某個欄位的某種規則拆分到多個資料庫(主機)上,這既是水平拆分。
單庫業務表可能會過於龐大,存在單庫讀寫與存儲瓶頸,這種情況可以通過水平拆分解決,水平拆分基本架構如下:

常用水平拆分規則:
*ID
*日期
*特定欄位取模

 優點:

*拆分規則抽象好,join操作基本可以資料庫內完成
*不存在單庫大數據,高併發的性能瓶頸
*應用端改造少
*提高了系統穩定性和負載能力

缺點:
*拆分規則難以抽象
*分片事務一致性難以解決
*數據多次擴展難度跟維護量極大
*跨庫join性能較差

b.垂直拆分
不同的表切分到不同的資料庫(主機)上,這就是垂直拆分。
一般按照業務表進行分類,劃分為不同的業務、模塊庫,耦合度越低,越容易做垂直拆分,垂直拆分基本架構如下:

垂直拆分註意點:
跨庫Join,採用共用數據源或分庫介面調用,根據資源和數據規模、負載而定

優點:
*拆分後業務清晰,拆分規則明確
*系統之間整合或擴展容易
*資料庫維護簡單

缺點:
*部分業務表無法Join,只能通過介面方式解決,提高了系統複雜度
*受每種業務不同的限制存在單庫性能瓶頸,不容易擴展跟性能提高
*事務處理複雜

c.水平拆分和垂直拆分共同缺點
*分散式事務處理困難
*誇節點join困難
*擴數據源管理複雜

d.切分總則
*能不切分的儘量不切分
*如果要切分,選擇合適的切分規則,提前規劃好
*資料庫切分儘量通過數據冗餘或表分組來降低跨庫join
*業務儘量使用少的多表join

(2)讀寫分離

 

(3)黑白名單限制

 

3、使用場景 

(1)單純讀寫分離,此時配置最為簡單,支持讀寫分離、主從切換
(2)分庫分表,對記錄超過1000萬的表進行水平拆分,最大支持1000億單表水平拆分
(3)多租戶應用,每個應用一個資料庫,但程式只需連接MyCAT,程式不改變,實現多租戶化
(4)報表系統,借住MyCAT分表能力,處理大規模的報表統計
(5)替代Hbase,分析大數據
(6)海量實時數據查詢

4、優缺點
優點:
(1)支持多種類型資料庫的分片
(2)易擴展
(3)


缺點:



二、MyCAT安裝
1、下載
官網地址:http://www.mycat.io/
下載地址:http://dl.mycat.io/1.6-RELEASE/
文檔地址:http://www.mycat.io/document/Mycat_V1.6.0.pdf


三、MyCAT使用

 


四、MyCAT重要概念

 1、邏輯庫(schema)

邏輯庫是mycat中間件層配置的對應實際一個或多個業務資料庫集群構成。

2、邏輯表(table)
a.邏輯表是mycat切分到多個資料庫或者不切分對應用程式顯示的統一的表。
b.分片表是原有的大表,經過分片,分佈在不同資料庫、相同資料庫的保留相同表結構,但數據不同的表。
c.非分片表是未做切分的表。
d.ER表基於E-R關係分片策略,子表記錄與所關聯的父表記錄存放在同一個數據分片上,即子表依賴於父表,通過表分組保證數據join不會跨庫操作。
e.全局表,業務系統中變化不大、數據量不大(十萬以下),但又需要經常關聯的表,mycat採用冗餘在各個節點一個份來完成。

3、分片節點(dataNode)
資料庫分片後,一個大表被切分到不同的分片資料庫上,每個表分片所在的資料庫就是分片節點。

4、分片主機(dataHost)
分片節點所在的伺服器,數據切分後,每個分片節點不一定都會獨占一臺伺服器,同一個分片伺服器可能存儲多個分片節點,儘量使讀寫壓力高的分片節點均衡的放在不同的節點主機上。

5、分片規則(rule)
按照某種業務規則把數據分到某個分片節點上的規則,就是分片規則。(分片規則非常重要,直接決定後續數據處理複雜度)

6、全局序列號(sequence)
當資料庫分片後,原有的主鍵約束在分散式條件下無法使用,因此需要引入外部機制保證數據唯一表示,這種保證全局的數據唯一表示機制就是全局序列號(sequence)。

7、多租戶
多用戶的環境共用相同的系統、程式組件,並且確保各用戶間數據的隔離性。
a.一個用戶一個資料庫,隔離級別最高、安全性最好,費用最高
b.共用資料庫,隔離數據架構,每個用戶一個schema
c.共用資料庫,共用數據架構,共用database、schema,通過表tenantID區分租戶數據

 


五、MyCAT附錄
1、OLAP和OLTP對比

2、關係型和非關係型資料庫對比

3、

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 今天在用一鍵安裝mysql的shell腳本安裝mysql-5.1.73軟體後發現mysql始終無法啟動,多次執行後依舊報錯,只能去查看error日誌,發現瞭如下的2個錯誤: 錯誤一:Fatal error: Can't open and lock privilege tables: Table 'm ...
  • 一、SQL數據查詢的一般格式 數據查詢是資料庫的核心操作。SQL提供了SELECT語句進行數據查詢,其一般格式為: 整個SELECT語句的含義是,根據WHERE子句的條件表達式從FROM子句指定的基本表、視圖或派生表中找出滿足條件的元組,再按SELECT子句中的目標列表達式選出元組中的屬性值形成結果 ...
  • 第一節 安裝環境 1 環境說明 服 務 商 : Alibaba Cloud Elastic Compute Service 操作系統 : CENTOS 7.4 版 本 號 : Linux version 3.10.0-693.2.2.el7.x86_64 安裝日期 : 2017年10月30日 安裝人 ...
  • 今天遇到一個很奇葩的問題,也可能是自己的經驗不足。。。 搜索的時候竟然用了兩秒鐘,當然是建了索引的(非聚集索引),這個時候搜索竟然 聚集索引掃描........ 然後通過加了一個語句,提升到了19毫秒 使用的是MsSqlserver 然後在網上找了一些資料也不能找到原因。 瞭解的大神們,懂得留個言。 ...
  • 用戶對物品的評分矩陣 × 物品相似矩陣 = 推薦列表 構建物品相似度矩陣的時候可以通過計算兩個物品的餘弦相似度得出,於是需要構建每個物品在所有用戶中的評分矩陣 本例中,不採用餘弦相似度的方式計算物品與物品相似度 在MapReduce作業中,輸入數據的格式是:用戶,物品,評分 第一步、構建用於評分矩陣 ...
  • 本來之前以為,not exists 和之前的參數一樣的也是需要分情況來說,但是做了實驗測試之後發現。Not exists 和not in 的選擇方法十分的簡單,就是只選 not exists 因為 not in加上了不會走索引。而not exists 會走。這樣就限定了,如果要使用的話就儘可能使用n ...
  • 在mysql中,通過一張表的列修改另一張關聯表中的內容: 1: 修改1列 update student s, city c set s.city_name = c.name where s.city_code = c.code; 2: 修改多個列 update a, b set a.title=b. ...
  • 前些天在查看關於innodb_flush_log_at_trx_commit的官網解釋時產生了一些疑問,關於innodb_flush_log_at_trx_commit參數的詳細解釋參見官網: https://dev.mysql.com/doc/refman/5.7/en/innodb-parame ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...