ShardingSphere-JDBC 分庫分表

来源:https://www.cnblogs.com/xzjf/p/17974370
-Advertisement-
Play Games

springBoot 引入maven <dependency> <groupId>org.apache.shardingsphere</groupId> <artifactId>sharding-jdbc-spring-boot-starter</artifactId> <version>4.0.0 ...


springBoot  引入maven

            <dependency>
                <groupId>org.apache.shardingsphere</groupId>
                <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
                <version>4.0.0-RC1</version>
            </dependency>

application.yml配置

spring:
  shardingsphere:
    datasource:
      names: db1,db2
      db1:
        url: jdbc:mysql://localhost:3306/db1?useUnicode=true&useSSL=false&characterEncoding=utf8&serverTimezone=Asia/Shanghai&allowPublicKeyRetrieval=true
        username: root
        password: root
        driver-class-name: com.mysql.cj.jdbc.Driver
        type: com.alibaba.druid.pool.DruidDataSource
      db2:
        url: jdbc:mysql://localhost:3306/db2?useUnicode=true&useSSL=false&characterEncoding=utf8&serverTimezone=Asia/Shanghai&allowPublicKeyRetrieval=true
        username: root
        password: root
        driver-class-name: com.mysql.cj.jdbc.Driver
        type: com.alibaba.druid.pool.DruidDataSource
#      masterslave:
#        # 讀寫分離配置
#        load-balance-algorithm-type: round_robin #負載均衡策略,round_robin是輪循
#        # 最終的數據源名稱
#        name: dataSource #就是bean的名字
#        # 主庫數據源名稱
#        master-data-source-name: db1
#        # 從庫數據源名稱列表,多個逗號分隔
#        slave-data-source-names: db2
    sharding:
      default-database-strategy:
        inline:
          sharding-column: order_id #資料庫分片策略欄位
          algorithm-expression: db${order_id % 2+1} # 配置t_order表分表策略
      tables:
        t_order:
          actual-data-nodes: db$->{1..2}.t_order_$->{0..3}  #配置t_order表分庫策略(inline-基於行表達式的分片演算法)
          table-strategy:
            inline:  #只適合一個欄位 
              sharding-column: order_id   #分表策略欄位
              algorithm-expression: t_order_$->{order_id % 2}  #根據order_id%2 找到對應表名
          key-generator:
            column: order_id
            type: SNOWFLAKE
    props:
      sql:
        show: true #列印sql

table-strategy:指定表的分片策略,table-strategy有以下幾種策略

1 ) none 表示不分片,所有數據都存儲在同一個表中。

2 ) standard 表示使用標準分片策略,根據分片鍵的值進行範圍匹配,將數據路由到對應的分片表中。

        對應StandardShardingStrategy,標準分片策略,根據分片鍵的值進行範圍匹配,將數據路由到對應的分片表中,提供對SQL語句中的=, >, <, >=, <=, IN和BETWEEN AND的分片操作支持。StandardShardingStrategy只支持單分片鍵,提供PreciseShardingAlgorithm和RangeShardingAlgorithm兩個分片演算法。PreciseShardingAlgorithm是必選的,用於處理=和IN的分片。RangeShardingAlgorithm是可選的,用於處理BETWEEN AND, >, <, >=, <=分片,如果不配置RangeShardingAlgorithm,SQL中的BETWEEN AND將按照全庫路由處理。

配置standard策略,我們需要實現PreciseShardingAlgorithm和RangeShardingAlgorithm介面來自定義自己的分片演算法,如下所示

application.yml配置

      tables:
t_order:
actual-data-nodes: db$->{1..2}.t_order_$->{0..3} #配置t_order表分庫策略(inline-基於行表達式的分片演算法)
table-strategy:
standard:
sharding-column: order_id
precise-algorithm-class-name: com.zjf.web.config.standard.MyTablePreciseShardingAlgorithm

分片類

@Component
@Slf4j
public class MyPreciseShardingAlgorithm implements PreciseShardingAlgorithm<Integer> {
    /**
     * @param tableNames 對應分片庫中所有分片表的集合
     * @param shardingValue 為分片屬性,logicTableName 為邏輯表,columnName 分片鍵,value 為從 SQL 中解析出來的分片鍵的值
     * @return
     */
    @Override
    public String doSharding(Collection<String> tableNames, PreciseShardingValue<Integer> shardingValue) {
        for (String tableName : tableNames) {
            // 取模演算法,分片鍵 % 表數量
            String value = String.valueOf(shardingValue.getValue() % tableNames.size() );
            log.info("tableName {} value============ {}",tableName,value);
            if (tableName.endsWith(value)) {
                return tableName;
            }
        }
        throw new IllegalArgumentException("分片失敗,tableNames:" + tableNames);
    }
}

3 ) inline 表示使用行表達式分片策略,根據分片鍵的值通過表達式計算得到分片結果,將數據路由到對應的分片表中。

           對應InlineShardingStrategy,使用Groovy的表達式,提供對SQL語句中的=和IN的分片操作支持,只支持單分片鍵。對於簡單的分片演算法,可以通過簡單的配置使用

      tables:
        t_order:
          actual-data-nodes: db$->{1..2}.t_order_$->{0..3}
          table-strategy:
            inline:
              sharding-column: order_id
              algorithm-expression: t_order_$->{order_id % 2}

4 ) complex 表示使用複合分片策略,可以同時使用多個分片鍵對數據進行分片計算,將數據路由到對應的分片表中。

        對應ComplexShardingStrategy。複合分片策略。提供對SQL語句中的=, >, <, >=, <=, IN和BETWEEN AND的分片操作支持,ComplexShardingStrategy支持多分片鍵,如果表是多分片鍵的,那麼需要使用該策略

       使用complex 策略,需要我們自定義一個ComplexShardingAlgorithm實現類,在該實現類定義相關分片演算法

@Slf4j
public class MyComplexShardingAlgorithm implements ComplexKeysShardingAlgorithm {
    /**
     *
     * @param availableTargetNames 進行分片的表
     * @param shardingValue 
     * @return
     */
    @Override
    public Collection<String> doSharding(Collection availableTargetNames, ComplexKeysShardingValue shardingValue) {
        List<String> result = new ArrayList<>();

        // 獲取分片鍵列和對應的分片鍵值
        Map<String, Collection<Long>> columnNameAndShardingValuesMap = shardingValue.getColumnNameAndShardingValuesMap();

        // 遍歷分片鍵列和分片鍵值
        for (Map.Entry<String, Collection<Long>> entry : columnNameAndShardingValuesMap.entrySet()) {
            String columnName = entry.getKey();
            Collection<Long> shardingValues = entry.getValue();
            log.info("分片鍵:"+columnName);
            // 根據分片鍵列和分片鍵值進行分片邏輯的實現
            for (Long shardingVal : shardingValues) {
                for (Object availableTargetName : availableTargetNames) {
                    String tableName = availableTargetName.toString();
                    String value = String.valueOf(shardingVal % availableTargetNames.size() );
                    if (tableName.endsWith(value)) {
                        result.add(tableName) ;
                    }
                }
            }
        }
        return result;
    }
}

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Vue3 對 diff 過程進行了大升級,利用 最長遞增子序列演算法 去計算最少移動dom,儘可能少的做移動節點位置操作! ...
  • 在當今的互聯網時代,微服務架構已經成為許多企業選擇的架構模式,它能夠提高系統的靈活性、可維護性和可擴展性。然而,微服務架構下的高可用性和彈性擴展是一個複雜的挑戰。本文將介紹如何利用容器與中間件來實現微服務架構下的高可用性和彈性擴展的解決方案。 ...
  • 嗨,大家好!歡迎來到C-Shopping,這是一場揭開科技面紗的電商之旅。我是C-Shopping開源作者“繼小鵬”,今天將為你介紹一款基於最新技術的開源電商平臺。讓我們一同探索吧! 點擊 這裡,http://shop.huanghanlian.com/,即刻踏上C-Shopping 體驗之旅! 項 ...
  • 小北說在前面: 在一線互聯網企業種,如網易、美團、位元組、如阿裡、滴滴、極兔、有贊、希音、百度、美團等大廠,資料庫的面試題,一直是核心和重點的提問點,比如前段時間有位小伙伴面試位元組,就遇到了下麵這道面試題: 索引的設計規範,你知道那些? 小伙伴雖然用過索引,但是索引的設計規範忘記得一干二凈,回答也是朦 ...
  • 目錄用 panic! 處理不可恢復的錯誤對應 panic 時的棧展開或終止使用 panic! 的 backtraceWindows設置 RUST_BACKTRACE 環境變數的兩種方式用 Result 處理可恢復的錯誤匹配不同的錯誤不同於使用 match 和 Result<T, E>失敗時 pani ...
  • 前言 使用opencv對圖像進行操作,要求:(1)定位銀行票據的四條邊,然後旋正。(2)根據版面分析,分割出小寫金額區域。 圖像校正 首先是對圖像的校正 讀取圖片 對圖片二值化 進行邊緣檢測 對邊緣的進行霍夫曼變換 將變換結果從極坐標空間投影到笛卡爾坐標得到傾斜角 根據傾斜角對主體校正 import ...
  • tomcat安裝 1.下載安裝apache-tomcat 官方網站: https://tomcat.apache.org/ 1.1主頁直接下載 選擇要下載的版本 選擇自己電腦符合的版本,32位的應該不常見了,直接64 另存即可 1.2下載歷史版本 登錄網站 選擇大版本 選擇詳細版本號 要點擊bin ...
  • 實現的功能 只要有人給你發了表情包,不管是群聊還是個人發的,都將它保存到本地。也許某天鬥圖的時候就能用到,不過即使有了表情包,還需要一個檢索功能,不然這一張一張看也太費眼睛了。 檢索表情包 檢索表情包的功能實現比較麻煩,至少需要兩個模型:ocr和圖片描述生成,如果更複雜點的話還需要分詞演算法、資料庫等 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...