基於多數據源零代碼同時生成多個資料庫CRUD增刪改查RESTful API介面——MySql，PostgreSql，Oracle，Microsoft SQL Server

来源:https://www.cnblogs.com/crudapi/archive/2022/07/15/16480749.html
-Advertisement-
Play Games

利用spring boot多數據源功能，可以同時支持不同類型資料庫mysql，oracle，postsql，sql server等，以及相同類型資料庫不同的schema。 ...


多數據源

回顧

通過前面文章的介紹，目前已經支持主流資料庫，包括MySql，PostgreSql，Oracle，Microsoft SQL Server等，通過配置零代碼實現了CRUD增刪改查RESTful API。採用抽象工廠設計模式，可以無縫切換不同類型的資料庫。
但是如果需要同時支持不同類型的資料庫，如何通過配置進行管理呢？這時候引入多數據源功能就很有必要了。

簡介

利用spring boot多數據源功能，可以同時支持不同類型資料庫mysql，oracle，postsql，sql server等，以及相同類型資料庫不同的schema。零代碼同時生成不同類型資料庫增刪改查RESTful api，且支持同一介面中跨庫數據訪問二次開發。

UI界面

配置一個數據源，多個從數據源，每一個數據源相互獨立配置和訪問。

multiDatasource

核心原理

配置資料庫連接串

配置application.properties，spring.datasource為預設主數據源，spring.datasource.hikari.data-sources[]數組為從數據源

#primary
spring.datasource.driverClassName=com.mysql.cj.jdbc.Driver
spring.datasource.url=jdbc:mysql://localhost:3306/crudapi?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=utf8&useSSL=false&allowPublicKeyRetrieval=true
spring.datasource.username=root
spring.datasource.password=root

#postgresql
spring.datasource.hikari.data-sources[0].postgresql.driverClassName=org.postgresql.Driver
spring.datasource.hikari.data-sources[0].postgresql.url=jdbc:postgresql://localhost:5432/crudapi
spring.datasource.hikari.data-sources[0].postgresql.username=postgres
spring.datasource.hikari.data-sources[0].postgresql.password=postgres

#sqlserver
spring.datasource.hikari.data-sources[1].sqlserver.driverClassName=com.microsoft.sqlserver.jdbc.SQLServerDriver
spring.datasource.hikari.data-sources[1].sqlserver.url=jdbc:sqlserver://localhost:1433;SelectMethod=cursor;DatabaseName=crudapi
spring.datasource.hikari.data-sources[1].sqlserver.username=sa
spring.datasource.hikari.data-sources[1].sqlserver.password=Mssql1433

#oracle
spring.datasource.hikari.data-sources[2].oracle.url=jdbc:oracle:thin:@//localhost:1521/XEPDB1
spring.datasource.hikari.data-sources[2].oracle.driverClassName=oracle.jdbc.OracleDriver
spring.datasource.hikari.data-sources[2].oracle.username=crudapi
spring.datasource.hikari.data-sources[2].oracle.password=crudapi

#mysql
spring.datasource.hikari.data-sources[3].mysql.driverClassName=com.mysql.cj.jdbc.Driver
spring.datasource.hikari.data-sources[3].mysql.url=jdbc:mysql://localhost:3306/crudapi2?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=utf8&useSSL=false&allowPublicKeyRetrieval=true
spring.datasource.hikari.data-sources[3].mysql.username=root
spring.datasource.hikari.data-sources[3].mysql.password=root

動態數據源——DynamicDataSource

Spring boot提供了抽象類AbstractRoutingDataSource，覆寫介面determineCurrentLookupKey， 可以在執行查詢之前，設置使用的數據源，從而實現動態切換數據源。

public class DynamicDataSource extends AbstractRoutingDataSource {
  @Override
  protected Object determineCurrentLookupKey() {
    return DataSourceContextHolder.getDataSource();
  }
}

數據源Context——DataSourceContextHolder

預設主數據源名稱為datasource，從數據源名稱保存在ThreadLocal變數CONTEXT_HOLDER裡面，ThreadLocal叫做線程變數, 意思是ThreadLocal中填充的變數屬於當前線程, 該變數對其他線程而言是隔離的, 也就是說該變數是當前線程獨有的變數。

在RestController裡面根據需要提前設置好當前需要訪問的數據源key，即調用setDataSource方法，訪問數據的時候調用getDataSource方法獲取到數據源key，最終傳遞給DynamicDataSource。

public class DataSourceContextHolder {
    //預設數據源primary=dataSource
    private static final String DEFAULT_DATASOURCE = "dataSource";

    //保存線程連接的數據源
    private static final ThreadLocal<String> CONTEXT_HOLDER = new ThreadLocal<>();

    private static final ThreadLocal<String> HEADER_HOLDER = new ThreadLocal<>();

    public static String getDataSource() {
      String dataSoure = CONTEXT_HOLDER.get();
        if (dataSoure != null) {
          return dataSoure;
        } else {
          return DEFAULT_DATASOURCE;
        }
    }

    public static void setDataSource(String key) {
        if ("primary".equals(key)) {
          key = DEFAULT_DATASOURCE;
        }
        CONTEXT_HOLDER.set(key);
    }

    public static void cleanDataSource() {
        CONTEXT_HOLDER.remove();
    }

    public static void setHeaderDataSource(String key) {
      HEADER_HOLDER.set(key);
    }

    public static String getHeaderDataSource() {
      String dataSoure = HEADER_HOLDER.get();
        if (dataSoure != null) {
          return dataSoure;
        } else {
          return DEFAULT_DATASOURCE;
        }
    }
}

動態資料庫提供者——DynamicDataSourceProvider

程式啟動時候，讀取配置文件application.properties中數據源信息，構建DataSource並通過介面setTargetDataSources設置從數據源。數據源的key和DataSourceContextHolder中key一一對應

@Component
@EnableConfigurationProperties(DataSourceProperties.class)
@ConfigurationProperties(prefix = "spring.datasource.hikari")
public class DynamicDataSourceProvider implements DataSourceProvider {
  @Autowired
  private DynamicDataSource dynamicDataSource;

  private List<Map<String, DataSourceProperties>> dataSources;

  private Map<Object,Object> targetDataSourcesMap;

  @Resource
  private DataSourceProperties dataSourceProperties;

  private DataSource buildDataSource(DataSourceProperties prop) {
        DataSourceBuilder<?> builder = DataSourceBuilder.create();
        builder.driverClassName(prop.getDriverClassName());
        builder.username(prop.getUsername());
        builder.password(prop.getPassword());
        builder.url(prop.getUrl());
        return builder.build();
    }

    @Override
    public List<DataSource> provide() {
      Map<Object,Object> targetDataSourcesMap = new HashMap<>();
      List<DataSource> res = new ArrayList<>();
      if (dataSources != null) {
            dataSources.forEach(map -> {
                Set<String> keys = map.keySet();
                keys.forEach(key -> {
                    DataSourceProperties properties = map.get(key);
                    DataSource dataSource = buildDataSource(properties);
                    targetDataSourcesMap.put(key, dataSource);

                });
            });

            //更新dynamicDataSource
            this.targetDataSourcesMap = targetDataSourcesMap;
            dynamicDataSource.setTargetDataSources(targetDataSourcesMap);
            dynamicDataSource.afterPropertiesSet();
      }

        return res;
    }

    @PostConstruct
    public void init() {
        provide();
    }

    public List<Map<String, DataSourceProperties>> getDataSources() {
        return dataSources;
    }

    public void setDataSources(List<Map<String, DataSourceProperties>> dataSources) {
        this.dataSources = dataSources;
    }

    public List<Map<String, String>> getDataSourceNames() {
      List<Map<String, String>> dataSourceNames = new ArrayList<Map<String, String>>();
      Map<String, String> dataSourceNameMap = new HashMap<String, String>();
      dataSourceNameMap.put("name", "primary");
      dataSourceNameMap.put("caption", "主數據源");
      dataSourceNameMap.put("database", parseDatabaseName(dataSourceProperties));
      dataSourceNames.add(dataSourceNameMap);

      if (dataSources != null) {
        dataSources.forEach(map -> {
          Set<Map.Entry<String, DataSourceProperties>> entrySet = map.entrySet();
              for (Map.Entry<String, DataSourceProperties> entry : entrySet) {
                Map<String, String> t = new HashMap<String, String>();
                t.put("name", entry.getKey());
                t.put("caption", entry.getKey());
                DataSourceProperties p = entry.getValue();
                t.put("database", parseDatabaseName(p));

                dataSourceNames.add(t);
              }
          });
      }

        return dataSourceNames;
    }

    public String getDatabaseName() {
      List<Map<String, String>> dataSourceNames = this.getDataSourceNames();
      String dataSource = DataSourceContextHolder.getDataSource();

      Optional<Map<String, String>> op = dataSourceNames.stream()
      .filter(t -> t.get("name").toString().equals(dataSource))
      .findFirst();
      if (op.isPresent()) {
        return op.get().get("database");
      } else {
        return dataSourceNames.stream()
        .filter(t -> t.get("name").toString().equals("primary"))
        .findFirst().get().get("database");
      }
    }


    private String parseDatabaseName(DataSourceProperties p) {
      String url = p.getUrl();
      String databaseName = "";
      if (url.toLowerCase().indexOf("databasename") >= 0) {
        String[] urlArr = p.getUrl().split(";");
        for (String u : urlArr) {
          if (u.toLowerCase().indexOf("databasename") >= 0) {
            String[] uArr = u.split("=");
            databaseName = uArr[uArr.length - 1];
          }
        }
      } else {
        String[] urlArr = p.getUrl().split("\\?")[0].split("/");
        databaseName = urlArr[urlArr.length - 1];
      }

      return databaseName;
    }

  public Map<Object,Object> getTargetDataSourcesMap() {
    return targetDataSourcesMap;
  }
}

動態數據源配置——DynamicDataSourceConfig

首先取消系統自動資料庫配置，設置exclude = { DataSourceAutoConfiguration.class }

@SpringBootApplication(exclude = { DataSourceAutoConfiguration.class })
public class ServiceApplication {
    public static void main(String[] args) {
        SpringApplication.run(ServiceApplication.class, args);
    }
}

然後自定義Bean，分別定義主數據源dataSource和動態數據源dynamicDataSource，並且註入到JdbcTemplate，NamedParameterJdbcTemplate，和DataSourceTransactionManager中，在訪問數據時候自動識別對應的數據源。

//數據源配置類
@Configuration
@EnableConfigurationProperties(DataSourceProperties.class)
public class DynamicDataSourceConfig {
    private static final Logger log = LoggerFactory.getLogger(DynamicDataSourceConfig.class);

    @Resource
    private DataSourceProperties dataSourceProperties;

    @Bean(name = "dataSource")
    public DataSource getDataSource(){
        DataSourceBuilder<?> builder = DataSourceBuilder.create();
        builder.driverClassName(dataSourceProperties.getDriverClassName());
        builder.username(dataSourceProperties.getUsername());
        builder.password(dataSourceProperties.getPassword());
        builder.url(dataSourceProperties.getUrl());
        return builder.build();
    }

    @Primary //當相同類型的實現類存在時，選擇該註解標記的類
    @Bean("dynamicDataSource")
    public DynamicDataSource dynamicDataSource(){
        DynamicDataSource dynamicDataSource = new DynamicDataSource();
        //預設數據源
        dynamicDataSource.setDefaultTargetDataSource(getDataSource());

        Map<Object,Object> targetDataSourcesMap = new HashMap<>();
        dynamicDataSource.setTargetDataSources(targetDataSourcesMap);
        return dynamicDataSource;
    }

    //事務管理器DataSourceTransactionManager構造參數需要DataSource
    //這裡可以看到我們給的是dynamicDS這個bean
    @Bean
    public PlatformTransactionManager transactionManager(){
        return new DataSourceTransactionManager(dynamicDataSource());
    }

    //這裡的JdbcTemplate構造參數同樣需要一個DataSource,為了實現數據源切換查詢，
    //這裡使用的也是dynamicDS這個bean
    @Bean(name = "jdbcTemplate")
    public JdbcTemplate getJdbc(){
        return new JdbcTemplate(dynamicDataSource());
    }

    //這裡的JdbcTemplate構造參數同樣需要一個DataSource,為了實現數據源切換查詢，
    //這裡使用的也是dynamicDS這個bean
    @Bean(name = "namedParameterJdbcTemplate")
    public NamedParameterJdbcTemplate getNamedJdbc(){
        return new NamedParameterJdbcTemplate(dynamicDataSource());
    }
}

請求頭過濾器——HeadFilter

攔截所有http請求，從header裡面解析出當前需要訪問的數據源，然後設置到線程變數HEADER_HOLDER中。

@WebFilter(filterName = "headFilter", urlPatterns = "/*")
public class HeadFilter extends OncePerRequestFilter {
    private static final Logger log = LoggerFactory.getLogger(HeadFilter.class);

    @Override
    protected void doFilterInternal(HttpServletRequest request, HttpServletResponse response, FilterChain filterChain) throws ServletException, IOException {
      if (!"/api/auth/login".equals(request.getRequestURI())
        && !"/api/auth/jwt/login".equals(request.getRequestURI())
        && !"/api/auth/logout".equals(request.getRequestURI())
        && !"/api/metadata/dataSources".equals(request.getRequestURI())) {
        String dataSource = request.getParameter("dataSource");
          HeadRequestWrapper headRequestWrapper = new HeadRequestWrapper(request);
          if (StringUtils.isEmpty(dataSource)) {
            dataSource = headRequestWrapper.getHeader("dataSource");
                if (StringUtils.isEmpty(dataSource)) {
                  dataSource = "primary";
                  headRequestWrapper.addHead("dataSource", dataSource);
                }
            }

            DataSourceContextHolder.setHeaderDataSource(dataSource);

            // finish
            filterChain.doFilter(headRequestWrapper, response);
      } else {
        filterChain.doFilter(request, response);
      }
    }
}

實際應用

前面動態數據源配置準備工作已經完成，最後我們定義切麵DataSourceAspect

@Aspect
public class DataSourceAspect {
  private static final Logger log = LoggerFactory.getLogger(DataSourceAspect.class);

  @Pointcut("within(cn.crudapi.api.controller..*)")
  public void applicationPackagePointcut() {
  }

  @Around("applicationPackagePointcut()")
  public Object dataSourceAround(ProceedingJoinPoint joinPoint) throws Throwable {
    String dataSource = DataSourceContextHolder.getHeaderDataSource();
    DataSourceContextHolder.setDataSource(dataSource);
    try {
      return joinPoint.proceed();
    } finally {
      DataSourceContextHolder.cleanDataSource();
    }
  }
}

在API對應的controller中攔截，獲取當前的請求頭數據源key，然後執行joinPoint.proceed()，最後再恢複數據源。當然在service內部還可以多次切換數據源，只需要調用DataSourceContextHolder.setDataSource()即可。比如可以從mysql資料庫讀取數據，然後保存到oracle資料庫中。

前端集成

在請求頭裡面設置dataSource為對應的數據源，比如primary表示主數據源，postgresql表示從數據源postgresql，具體可以名稱和application.properties配置保持一致。

首先調用的地方配置dataSource

const table = {
  list: function(dataSource, tableName, page, rowsPerPage, search, query, filter) {
    return axiosInstance.get("/api/business/" + tableName,
      {
        params: {
          offset: (page - 1) * rowsPerPage,
          limit: rowsPerPage,
          search: search,
          ...query,
          filter: filter
        },
        dataSource: dataSource
      }
    );
  },
}

然後在axios裡面統一攔截配置

axiosInstance.interceptors.request.use(
  function(config) {
    if (config.dataSource) {
      console.log("config.dataSource = " + config.dataSource);
      config.headers["dataSource"] = config.dataSource;
    }

    return config;
  },
  function(error) {
    return Promise.reject(error);
  }
);

效果如下
datasource

小結

本文主要介紹了多數據源功能，在同一個Java程式中，通過多數據源功能，不需要一行代碼，我們就可以得到不同資料庫的基本crud功能，包括API和UI。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 什麼是回表，怎麼解決？
    表tbl有a,b,c三個欄位，其中a是主鍵，b上建了索引，然後編寫sql語句SELECT * FROM tbl WHERE a=1這樣不會產生回表，因為所有的數據在a的索引樹中均能找到SELECT * FROM tbl WHERE b=1這樣就會產生回表，因為where條件是b欄位，那麼會去b的索引 ...
  • HMS Core圖形圖像技術展現最新功能和應用場景，加速構建數智生活
    【2022年7月15日，杭州】HUAWEI Developer Day（華為開發者日，簡稱HDD）杭州站拉開帷幕。在數字經濟不斷發展的今天，開發者對圖形圖像的開發需求更加深入和多樣化，從虛擬環境重構到用戶交互再到視覺呈現，開發者對於數字世界存在一個完整的需求鏈條。在HMS Core.Sparkle應 ...
  • 華為通用卡證識別功能，一鍵實現多種卡綁定
    目前很多應用都有身份證、銀行卡一鍵識別功能，但面對各種會員卡、通行證、駕駛證、行駛證等日常生活中經常用到的卡證，因為不同商家的卡號位置，版面樣式各異，所以無法使用類似身份證的專門的身份證識別API，如果要在旅游類App、商超類App等手動輸入卡證號碼，不僅繁瑣還容易出錯，沒有很好的交互體驗。此時，使 ...
  • Vue生命周期和MVVM框架
    生命周期 組件從開始到結束的全過程 創建階段：beforeCreate、created 掛載階段：beforeMount、mounted 更新階段：beforeUpdate、updated 銷毀階段：beforeDestroy、destroyed 與動態組件有關的兩個特殊的鉤子： activated ...
  • 博客園美化教程
    自己的官方模板一直沒有弄，今天看到了一個不錯的主題網站，於是果斷尋求方法進行美化，看了不少博客園的博客，發現一些博客非常驚艷，這些基本都屬於自己定製的，於是開始自定義美化起來。 1. 開通javaScript許可權 進入管理>設置>勾選下麵的JS許可權，然後填寫一下開通的理由等待管理員進行審核通過。 2 ...
  • sass 混合指令 (Mixin Directives)詳解
    混合指令（Mixin）用於定義可重覆使用的樣式，避免了使用無語意的 class，比如 .float-left。混合指令可以包含所有的 CSS 規則，絕大部分 Sass 規則，甚至通過參數功能引入變數，輸出多樣化的樣式。 ...
  • 前端面試筆試題-高頻
    本文簡介 本文主要講解使用 NodeJS 操作 Redis ，順便會先帶一帶 Redis 基礎用法。 在寫本文時，使用 NPM 安裝的 Redis 依賴包已經到了 4.1.0 版本了。我以前用過 2.8 ，這兩個版本在用法上也是有差別的。可能一些老項目還在用老版本的依賴包。所以我會把2個版本的用法都 ...
  • kubernetes1.24+containerd搭建
    java基礎知識圖解 軟體開發 軟體開發 軟體，即一系列按照特定順序組織的電腦數據和指令的集合。有系統軟體和應用軟體之分。 人機交互方式 圖形化界面(Graphical User Interface GUI)：這種方式簡單直觀，使用者易於接受，容易上手操作。 命令行方式(Command Line ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類