spring多數據源動態切換的實現原理及讀寫分離的應用

来源:https://www.cnblogs.com/jingdongkeji/archive/2023/08/09/17616194.html
-Advertisement-
Play Games

AbstractRoutingDataSource是Spring框架中的一個抽象類,可以實現多數據源的動態切換和路由,以滿足複雜的業務需求和提高系統的性能、可擴展性、靈活性。 ...


簡介

AbstractRoutingDataSource是Spring框架中的一個抽象類,可以實現多數據源的動態切換和路由,以滿足複雜的業務需求和提高系統的性能、可擴展性、靈活性。

應用場景

  1. 多租戶支持:對於多租戶的應用,根據當前租戶來選擇其對應的數據源,實現租戶級別的隔離和數據存儲。
  2. 分庫分表:為了提高性能和擴展性,將數據分散到多個資料庫或表中,根據分片規則來選擇正確的數據源,實現分庫分表。
  3. 讀寫分離:為了提高資料庫的讀寫性能,可能會採用讀寫分離的方式,根據讀寫操作的類型來選擇合適的數據源,實現讀寫分離。
  4. 數據源負載均衡:根據負載均衡策略來選擇合適的數據源,將請求均勻地分配到不同的數據源上,提高系統的整體性能和可伸縮性。
  5. 多資料庫支持:在一些場景下,可能需要同時連接多個不同類型的資料庫,如關係型資料庫、NoSQL資料庫等。根據業務需求選擇不同類型的數據源,實現對多資料庫的支持。

實現原理

1.AbstractRoutingDataSource實現了DataSource介面,作為一個數據源的封裝類,負責路由資料庫請求到不同的目標數據源

AbstractRoutingDataSource hierarchy.png

2.該類中定義了一個determineTargetDataSource方法,會獲取當前的目標數據源標識符,進而返回真正的數據源;

值得註意的是:其中determineCurrentLookupKey為抽象方法,明顯是要讓用戶自定義實現獲取數據源標識的業務邏輯。

determineTargetDataSource.png

3.當系統執行資料庫操作之前,會先獲取數據源鏈接,即調用getConnection方法,該類重寫的getConnection方法,會獲取到真正的目標數據源,進而將資料庫操作委托給目標數據源進行處理。

getConnection.png

讀寫分離實現V1版

  1. yml中配置主從資料庫連接信息
spring:
  datasource:
    business-master:
      url: jdbc:mysql://ip1:3306/xxx
      username: c_username
      password: p1
    business-slaver:
      url: jdbc:mysql://ip2:3306/xxx
      username: c_username
      password: p2


2.讀取yml中的主從數據源配置

@Data
@ConfigurationProperties(prefix = "spring.datasource")
@Component
public class DataSourcePropertiesConfig {
    /**
     * 主庫配置
     */
    DruidDataSource businessMaster;
    /**
     * 從庫配置
     */
    DruidDataSource businessSlaver;
}


3.自定義動態數據源類DynamicRoutingDataSource,繼承AbstractRoutingDataSource類,並重寫determineCurrentLookupKey方法,定義獲取目標數據源標識的邏輯。

此處的邏輯為:定義一個DataSourceHolder類,將數據源標識放到ThreadLocal中,當需要時從ThreadLocal中獲取。

public class DynamicRoutingDataSource extends AbstractRoutingDataSource {
    /**
     * 獲取目標數據源標識
     */
    @Override
    protected Object determineCurrentLookupKey() {
        return DataSourceHolder.getDbName();
    }
}


public class DataSourceHolder {
    /**
     * 當前線程使用的 數據源名稱
     */
    private static final ThreadLocal<String> THREAD_LOCAL_DB_NAME = new ThreadLocal<>();
    /**
     * 設置數據源名稱
     */
    public static void setDbName(String dbName) {
        THREAD_LOCAL_DB_NAME.set(dbName);
    }
    /**
     * 獲取數據源名稱,為空的話預設切主庫
     */
    public static String getDbName() {
        String dbName = THREAD_LOCAL_DB_NAME.get();
        if (StringUtils.isBlank(dbName)) {
            dbName = DbNameConstant.MASTER;
        }
        return dbName;
    }
    /**
     * 清除當前數據源名稱
     */
    public static void clearDb() {
        THREAD_LOCAL_DB_NAME.remove();
    }
}


4.創建動態數據源DynamicRoutingDataSource對象,並註入到容器中。這裡創建了主從兩個數據源,併進行了初始化,分別為其設置了數據源標識並放到了DynamicRoutingDataSource對象中,以便後面使用。

若為多個數據源,可參考此處進行批量定義。

@Configuration
public class DataSourceConfig {
    @Autowired
    private DataSourcePropertiesConfig dataSourcePropertiesConfig;
    /**
     * 主庫數據源
     */
    public DataSource masterDataSource() throws SQLException {
        DruidDataSource businessDataSource = dataSourcePropertiesConfig.getBusinessMaster();
        businessDataSource.init();
        return businessDataSource;
    }
    /**
     * 從庫數據源
     */
    public DataSource slaverDataSource() throws SQLException {
        DruidDataSource businessDataSource = dataSourcePropertiesConfig.getBusinessSlaver();
        businessDataSource.init();
        return businessDataSource;
    }
    /**
     * 動態數據源
     */
    @Bean
    public DynamicRoutingDataSource dynamicRoutingDataSource() throws SQLException {
        DynamicRoutingDataSource dynamicRoutingDataSource = new DynamicRoutingDataSource();
        Map<Object, Object> targetDataSources = new HashMap<>(2);
        targetDataSources.put("master", masterDataSource());
        targetDataSources.put("slaver", slaverDataSource());
        dynamicRoutingDataSource.setDefaultTargetDataSource(masterDS);
        dynamicRoutingDataSource.setTargetDataSources(targetDataSources);
        dynamicRoutingDataSource.afterPropertiesSet();
        return dynamicRoutingDataSource;
    }
}


5.自定義一個註解,指定資料庫。

可以將一些常用的查詢介面自動路由到讀庫,以減輕主庫壓力。

@Documented
@Inherited
@Target({ElementType.METHOD})
@Retention(RetentionPolicy.RUNTIME)
public @interface DataSourceSwitch {
    /**
     * 數據源名稱,預設主庫
     */
    String dbName() default "master";
}


6.定義一個切麵,攔截所有Controller介面,使用DataSourceSwitchRead註解的方法,將統一路由到讀庫查詢

@Aspect
@Component
@Slf4j
public class DataSourceAspect {
    /**
     * 切庫,若為多個從庫,可在這裡添加負載均衡策略
     */
    @Before(value = "execution ( * com.jd.gyh.controller.*.*(..))")
    public void changeDb(JoinPoint joinPoint) {
        Method m = ((MethodSignature) joinPoint.getSignature()).getMethod();
        DataSourceSwitch dataSourceSwitch = m.getAnnotation(DataSourceSwitch.class);
        if (dataSourceSwitch == null) {
            DataSourceHolder.setDbName(DbNameConstant.MASTER);
            log.info("switch db dbName = master");
        } else {
            String dbName = dataSourceSwitch.dbName();
            log.info("switch db dbName = {}", dbName);
            DataSourceHolder.setDbName(dbName);
        }
    }
}

作者:京東科技 郭艷紅

來源:京東雲開發者社區


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 經過了半年左右的開發,golang 1.21 在今天早上正式發佈了。 這個版本中有不少重要的新特性和變更,尤其是在泛型相關的代碼上。 因為有不少大變動,所以建議等第一個patch版本也就是1.21.1出來之後再進行升級,以免遇到一些意外的bug帶來麻煩。 好了,一起來看看1.21帶來的新特性吧。 本 ...
  • ## 正文 #### put方法 ``` public V put(K key, V value) { return putVal(hash(key), key, value, false, true); } ``` **當進入put方法中時,首先將鍵值賦給key和value,再通過key計算出相對 ...
  • 1.前言 相信許多開發同學看過《深入理解java虛擬機》,也閱讀過java虛擬機規範,書籍和文檔給人的感覺不夠直觀,本文從一個簡單的例子來看看jvm是如何工作的吧。 本文所有操作均在mac上進行。 2.示例代碼 示例代碼採用最常見的雙重檢索單例模式: package interview.desgin ...
  • 在 Python 中,迭代器是一個實現了 `__iter__` 和 `__next__` 方法的對象。`__iter__` 方法返回迭代器對象自身,而 `__next__` 方法返回下一個元素。換句話說,迭代器是一個可以逐個返回元素的對象。 下麵是一個簡單的迭代器示例,演示瞭如何實現 `__iter ...
  • Go語言的泛型是在Go 1.18版本中引入的一個新特性,它允許開發者編寫可以處理不同數據類型的代碼,而無需為每種數據類型都編寫重覆的代碼。以下是關於Go語言泛型的一些關鍵點: 1. 泛型是通過在函數或類型定義中使用類型參數來實現的。類型參數可以被看作是一個特殊的類型,它可以在函數或類型定義中的任何位 ...
  • python 是一種高級、面向對象、通用的編程語言,由`Guido van Rossum`發明,於1991年首次發佈。python 的設計哲學強調代碼的可讀性和簡潔性,同時也非常適合於大型項目的開發。python 語言被廣泛用於Web開發、科學計算、人工智慧、自動化測試、游戲開發等各個領域,並且擁有... ...
  • Hibernate 是一個開源的 ORM(對象關係映射)框架,它可以將 Java 對象與資料庫表進行映射,從而實現面向對象的數據持久化。使用 Hibernate,可以避免手動編寫 SQL 語句,從而提高開發效率,並且可以輕鬆地切換不同的資料庫。 ## 基礎概念 entity 實體類是映射到資料庫表中 ...
  • 用PHP封裝一個強大且通用的cURL方法。 用PHP封裝一個強大且通用的cURL方法。 用PHP封裝一個強大且通用的cURL方法。 用PHP封裝一個強大且通用的cURL方法。 ```php /** * @function 強大且通用的cURL請求庫 * @param $url string 路徑 如 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...