三、SpringBoot 整合mybatis 多數據源以及分庫分表

来源:https://www.cnblogs.com/quellanan/archive/2019/09/21/11564099.html
-Advertisement-
Play Games

前言 說實話，這章本來不打算講的，因為配置多數據源的網上有很多類似的教程。但是最近因為項目要用到分庫分表，所以讓我研究一下看怎麼實現。我想著上一篇博客講了多環境的配置，不同的環境調用不同的資料庫，那接下來就將一個環境用到多個庫也就講了。所以才有了這篇文章。 我們先來看一下今天項目的項目結構，在上篇博 ...


前言

說實話，這章本來不打算講的，因為配置多數據源的網上有很多類似的教程。但是最近因為項目要用到分庫分表，所以讓我研究一下看怎麼實現。我想著上一篇博客講了多環境的配置，不同的環境調用不同的資料庫，那接下來就將一個環境用到多個庫也就講了。所以才有了這篇文章。
我們先來看一下今天項目的項目結構，在上篇博客的基礎上進行了一定的增改，主要是增加了一個 config 文件，在dao 中分了兩個子包mapper1 和mapper2 將原先的UserMapper 移入到了 mapper1 中。好了，開始正文
file

多數據源配置

背景

在這之前，還是先說一下為什麼會存在多數據源。如果項目小的話，當然是所有的數據以及邏輯處理都操作同一個庫。但是當業務量大的話，就會考慮到分庫了。比我會將也日誌入庫數據存放到單獨的資料庫。或者用戶許可權信息單獨的一個庫存放。這種如果只是簡單的分庫，一個項目中就用到2~4 個資料庫的話，這種多數據源配置就有意義啦。在配置文件中配置好這幾個數據源，都有唯一標識。項目在啟動載入的時候都進行初始化，然後在調用的時候，想用哪個庫就哪個數據源的連接實例就好了。

如果不整合 mybatis 的話，直接使用使用spring 自帶的jdbcTemplate ，那配置多數據源，以及使用都比較簡單，但是整合 mybatis 的話，就相對複雜點。我們一步一步來將講解。

修改配置文件

打開application-dev.yml 文件，添加數據源。

#開發環境
spring:
  # 數據源配置
  datasource:
    one:
      driver-class-name: com.mysql.jdbc.Driver
      jdbc-url: jdbc:mysql://192.168.252.53:3306/zlflovemm?characterEncoding=utf-8&useSSL=false&zeroDateTimeBehavior=CONVERT_TO_NULL
      username: root
      password: 123456
      max-idle: 10
      max-wait: 10000
      min-idle: 5
      initial-size: 5
    two:
      driver-class-name: com.mysql.jdbc.Driver
      jdbc-url: jdbc:mysql://192.168.252.53:3306/zlfdb?characterEncoding=utf-8&useSSL=false&zeroDateTimeBehavior=CONVERT_TO_NULL
      username: root
      password: 123456
      max-idle: 10
      max-wait: 10000
      min-idle: 5
      initial-size: 5

這裡需要註意的是如果使用的是springboot 2.0 以上的，那麼註意是 driver-class-name 和
jdbc-url 而不是driverClassName和url.這裡是一個坑，提醒大家一下。

配置數據源

接下來就需要我們手動的載入什麼什麼數據源了，我們在config中創建 DataSourcesConfig 類

@Configuration
public class DataSourcesConfig {

    @Bean(name="dbOne")
    @ConfigurationProperties(prefix = "spring.datasource.one")
    @Primary
    DataSource dbOne(){
        return DataSourceBuilder.create().build();
    }

    @Bean(name="dbTwo")
    @ConfigurationProperties(prefix = "spring.datasource.two")
    DataSource dbTwo(){
        return DataSourceBuilder.create().build();
    }

}

這裡定義了兩個數據源的DataSource。分別是我們在配置文件中配置的one 和two 。註解@Primary 表示預設使用的數據源。

MyBatisConfigOne 類

@Configuration
@MapperScan(basePackages = "com.quellan.zlflovemm.dao.mapper1",sqlSessionFactoryRef = "sqlSessionFactory1",sqlSessionTemplateRef = "sqlSessionTemplate1")
public class MyBatisConfigOne {
    @Resource(name = "dbOne")
    DataSource dbOne;

    @Bean
    @Primary
    SqlSessionFactory sqlSessionFactory1()throws Exception {
        SqlSessionFactoryBean bean = new SqlSessionFactoryBean();
        bean.setDataSource(dbOne);
        return bean.getObject();
    }
    @Bean
    @Primary
    SqlSessionTemplate sqlSessionTemplate1() throws Exception{
        return new SqlSessionTemplate(sqlSessionFactory1());
    }
}

MyBatisConfigTwo 類

@Configuration
@MapperScan(basePackages = "com.quellan.zlflovemm.dao.mapper2",sqlSessionFactoryRef = "sqlSessionFactory2",sqlSessionTemplateRef = "sqlSessionTemplate2")
public class MyBatisConfigTwo {
    @Resource(name = "dbTwo")
    DataSource dbTwo;

    @Bean
    SqlSessionFactory sqlSessionFactory2()throws Exception {
        SqlSessionFactoryBean bean = new SqlSessionFactoryBean();
        bean.setDataSource(dbTwo);
        return bean.getObject();
    }
    @Bean
    SqlSessionTemplate sqlSessionTemplate2()throws Exception {
        return new SqlSessionTemplate(sqlSessionFactory2());
    }
}

註意連個文件的區別：
file

dao 層

在dao 層創建了兩個包mapper1 和mapper2 .包裡面的UserMapper類的內容是完全一樣，放在不同的包中只是區分使用哪個數據源。和昨天是一樣的。

public interface UserMapper {

    @Select("select id,username as userName,password,email,role_code as roleCode,gmt_create as gmtCreate,gmt_update as gmtUpdate,nickname as nickName,user_create as userCreate from sys_user")
    List<UserEntry> findUserList();


    @Insert({"insert into sys_user(username,password,email) values('${user.userName}','${user.password}','${user.email}')"})
    int add(@Param("user") UserEntry user);

    @Delete("delete from sys_user where id = #{id}")
    int delete(int id);
}

service 層

UserService介面

public interface UserService {

    List<UserEntry> findUserList();

    int addUser(String userName,String password,String email);

    int deleteUser(int id);

    List<UserEntry> findUserList2();

    int addUser2(String userName,String password,String email);

    int deleteUser2(int id);
}

UserServiceImpl類：

@Service
public class UserServiceImpl implements UserService {

    @Autowired
    protected UserMapper userMapper;

    @Autowired
    protected UserMapper2 userMapper2;


    @Override
    public List<UserEntry> findUserList() {
        return userMapper.findUserList();
    }

    @Override
    public int addUser(String userName, String password, String email) {
        UserEntry user=new UserEntry();
        user.setUserName(userName);
        user.setPassword(password);
        user.setEmail(email);
        return userMapper.add(user);
    }

    @Override
    public int deleteUser(int id) {
        return userMapper.delete(id);
    }

    @Override
    public List<UserEntry> findUserList2() {
        return userMapper2.findUserList();
    }

    @Override
    public int addUser2(String userName, String password, String email) {
        UserEntry user=new UserEntry();
        user.setUserName(userName);
        user.setPassword(password);
        user.setEmail(email);
        return userMapper2.add(user);
    }

    @Override
    public int deleteUser2(int id) {
        return userMapper2.delete(id);
    }
}

controller 層

userController

@Slf4j
@RestController
@RequestMapping("/user")
public class UserController {

    @Autowired
    private UserService userService;

    @RequestMapping(value = "/list",method = RequestMethod.GET)
    public List<UserEntry> findUserList(){
        return userService.findUserList();
    }

    @RequestMapping(value = "/add",method = RequestMethod.GET)
    public String addUser(@RequestParam(value = "userName")String uaserName,@RequestParam(value = "password")String password,@RequestParam(value = "email")String email){
        int falg=userService.addUser(uaserName,password,email);
        if(falg>0){
            return "success";
        }
        return "error";
    }
        
    @RequestMapping(value = "/delete",method = RequestMethod.GET)
    public String deleteUser(@RequestParam(value = "id")int id){
        if(userService.deleteUser(id)>0){
            return "success";
        }
        return "error";
    }

    @RequestMapping(value = "/list2",method = RequestMethod.GET)
    public List<UserEntry> findUserList2(){
        return userService.findUserList2();
    }

    @RequestMapping(value = "/add2",method = RequestMethod.GET)
    public String addUser2(@RequestParam(value = "userName")String uaserName,@RequestParam(value = "password")String password,@RequestParam(value = "email")String email){
        int falg= userService.addUser2(uaserName,password,email);
        if(falg>0){
            return "success";
        }
        return "error";
    }

    @RequestMapping(value = "/delete2",method = RequestMethod.GET)
    public String deleteUser2(@RequestParam(value = "id")int id){
        if(userService.deleteUser2(id)>0){
            return "success";
        }
        return "error";
    }
}

測試

file
file
可以看到是從不同的庫中調出來的。這樣就說明我們springboot配置多數據源整合mybatis 已經成功了。其實最主要就是config 包下的那三個配置類。其他的都是常見的業務邏輯，所以後面我就沒有怎麼講了，代碼會同步到github 上，想要實踐的可以拿源碼下來實踐。

到此我們springboot整合mybatis 多數據源已經配置好了，但是我們配置下來可以發現，我們如果想要配置幾個數據源就得在 dao 層創建多少個子包用來區分。那如果我們數據量足夠大，要分庫分表而不是幾個庫呢？

分庫分表

背景

其實分庫分表和多數據源是一樣的，只不過是數據源更多了，多到在配置中配置所有的連接顯得很臃腫，所以不得不另覓它法。分庫分表就是 在項目中配置連接主庫的連接，從主庫中讀取各個分庫的連接，然後進行動態的載入，那個介面想調用那個分庫就載入這個分庫的連接。
我現在項目做的由於不用整合mybatis 直接使用jdbcTemplate ，所以實現起來不是很麻煩。

思路

主要就兩個類；
GetDynamicJdbcTemplate類：手動的創建連接。

/**
 * @ClassName GetDynamicJdbcTemplate
 * @Description 獲取動態的jdbcTemplate
 * @Author zhulinfeng
 * @Date 2019/9/20 14:35
 * @Version 1.0
 */
public class GetDynamicJdbcTemplate {

    private  String driverClassName;
    private  String url;
    private  String dbUsername;
    private  String dbPassword;
    private JdbcTemplate jdbcTemplate;

    public JdbcTemplate getJdbcTemplate() {
        return jdbcTemplate;
    }

    public GetDynamicJdbcTemplate(String driverClassName, String url, String dbUsername, String dbPassword){
        this.driverClassName=driverClassName;
        this.url=url;
        this.dbUsername=dbUsername;
        this.dbPassword=dbPassword;
        this.jdbcTemplate=new JdbcTemplate(getDataSource());
    }

    public DriverManagerDataSource getDataSource() {
        DriverManagerDataSource dataSource = new DriverManagerDataSource();
        dataSource.setDriverClassName(driverClassName);
        dataSource.setUrl(url);
        dataSource.setUsername(dbUsername);
        dataSource.setPassword(dbPassword);
        return dataSource;
    }
}

GetJdbcTemplateMap類在項目啟動的時候，會讀取主庫中的配置，將所有分庫的連接都創建好放到map中。我們是按照地市分表的，介面在調用的時候根據前端傳過來的地市就可以知道使用哪個資料庫連接了。


@Component
@Slf4j
    public class GetJdbcTemplateMap implements ApplicationRunner {

    @Autowired
    @Qualifier("baseTemplate")
    private JdbcTemplate jdbcTemplate;

    public static Map<String,JdbcTemplate> JdbcTemplateMap=new HashMap<>();

    @Override
    public void run(ApplicationArguments args) throws Exception {
        String sql="CALL proc_baseinfo_cfg_dbsetting_query()";
        List<Map<String, Object>> list = jdbcTemplate.queryForList(sql);
        if(list!=null && !list.isEmpty()){
            insertMap(list);
        }
    }

    private void insertMap(List<Map<String, Object>> list){
        for(Map<String, Object> map :list){
            String url="jdbc:mysql://"+map.get("serverip")+":"+map.get("dbport")+"/"+map.get("dbname")+"?allowMultiQueries=true&useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull";
            log.info(url);
            String  dbUsername=  map.get("user").toString();
            String  dbPassword=  map.get("password").toString();
            GetDynamicJdbcTemplate getDynamicJdbcTemplate=new GetDynamicJdbcTemplate(ConstantClass.DRIVERCLASSNAME,url,dbUsername,dbPassword);
            JdbcTemplate jdbcTemplate=getDynamicJdbcTemplate.getJdbcTemplate();
            JdbcTemplateMap.put(map.get("cityid").toString(),jdbcTemplate);
        }
    }
}

file

在介面中調用也很方便。
file

但是上面講的只適合我們自己特有的業務，並且也沒有整合mybatis ,所以我就沒有寫在我自己的項目中，這裡提供出來是給大家一個思路。

番外

也算是寫完了這篇，感覺寫的不是很好，但是有不知道怎麼修改，暫時就先這樣吧，後續有思路了再進行修改。又問問我為什麼不先整合Thymeleaf 弄出頁面來。之所以沒有弄，是因為我想後期做前後端分離都是以介面的形式調用。所以想先將後端的部分都搭建好，再來整合前端的。
好了，就說這麼多啦，今天項目的代碼也同步到github 上啦。
github地址：https://github.com/QuellanAn/zlflovemm

後續加油♡

歡迎大家關註個人公眾號 "程式員愛酸奶"

分享各種學習資料，包含java，linux，大數據等。資料包含視頻文檔以及源碼，同時分享本人及投遞的優質技術博文。

如果大家喜歡記得關註和分享喲❤
file


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • PHP 擴展開發初探
    什麼是 PHP 擴展 通俗說，PHP 擴展是增強 PHP 語言功能的插件。PHP 提供了編程語言的語法，比如分支、迴圈、函數、類等，這些是 PHP 本身所提供的。在某些情況下需要在 PHP 語言的基礎上進行擴展，那麼就需要通過 PHP 底層提供的數據結構和介面來開發 PHP 擴展，從而來補充或擴展 ...
  • 01 jvm學習過程概述
    聲明 ：本博客僅僅是一個初學者的學習記錄、心得總結，其中肯定有許多錯誤，不具有參考價值，歡迎大佬指正，謝謝！想和我交流、一起學習、一起進步的朋友可以加我微信Liu__66666666 這是簡單學習一遍之後的記錄，後期還會修改。 一、學習內容 1. "jvm簡介" 2. 記憶體模型 3. 垃圾回收機制 ...
  • Python基礎——分支、迴圈
    恢復內容開始 目錄 1. 分支結構 1.1 初步介紹 1.2 使用案例 1.3 練習 2.迴圈結構 1.1 初步介紹 1.2 使用案例 目錄 1. 分支結構 1.1 初步介紹 1.2 使用案例 1.3 練習 2.迴圈結構 1.1 初步介紹 1.2 使用案例 1. 分支結構 1.1 初步介紹 1.2 ...
  • ZooKeeper學習之集群搭建
    ZooKeeper技術的極少以及ZooKeeper集群的搭建 ...
  • 函數，從編輯到編譯 (上)
    0. 序 我從一生下來就呆在這個昏暗的地方。 我不明白為什麼程式員這麼喜歡 Dark Mode，Brighten Mode 才是我的最愛。聽說最近連 iphone 都開始支持 Dark Mode 了，沒話講。。。說好的絕不妥協呢？ 我周圍是熙熙攘攘的函數群，穿插著變數聲明和巨集定義。 在我們這裡，函數 ...
  • 同步FIFO design and IP level verification
    一、前言 應聘IC前端相關崗位時，FIFO是最常考也是最基本的題目。FIFO經常用於數據緩存、位寬轉換、非同步時鐘域處理。隨著晶元規模的快速增長，靈活的system verilog成為設計/驗證人員的基本功。本文從簡易版的同步FIFO開始，熟悉IP設計與驗證的基礎技能。 二、IP設計 FIFO這一IP ...
  • 一次容器化springboot程式OOM問題探險
    背景 運維人員反饋一個容器化的java程式每跑一段時間就會出現OOM問題，重啟後，間隔大概兩天後復現。 問題調查 一查日誌 由於是容器化部署的程式，登上主機後使用docker logs ContainerId查看輸出日誌，並沒有發現任何異常輸出。 使用docker stats查看容器使用的資源情況， ...
  • 模板引擎Velocity學習系列 - #set指令
    #set指令 #set指令用於向一個變數或者對象賦值。 格式： #set($var = value) LHS是一個變數，不要使用特殊字元例如英文句號等，不能用大括弧括起來。測試發現#set($user.name = 'zhangsan'),#set(${age} = 18)均賦值失敗。 RHS可以是 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類