背景:之前的項目做讀寫分離的時候用的 MybatisPlus的動態數據做的,很多地方使用的@DS直接指定的讀庫或者寫庫實現的業務;隨著表數據量越來越大,現在打算把比較大的表進行水平拆分,準備使用 ShardingJDBC實現,但是發現兩者配合起來並不是那麼順利,網上大部分文章都是直接把整個Shard ...
背景:之前的項目做讀寫分離的時候用的 MybatisPlus的動態數據做的,很多地方使用的@DS直接指定的讀庫或者寫庫實現的業務;隨著表數據量越來越大,現在打算把比較大的表進行水平拆分,準備使用 ShardingJDBC實現,但是發現兩者配合起來並不是那麼順利,網上大部分文章都是直接把整個Sharding的數據源當成MybatisPlus的一個數據源,那麼在原本@DS上面指定的數據源就無法直接使用Sharding的分庫等邏輯,所以我研究了一下源碼,實現了這一邏輯,給後面有需要的朋友提供一個案例,避免浪費不必要的時間
一. 版本選擇
目前ShardingJDBC主要有兩個版本,一個是ShardingJDBC早期版本,一個是ShardingSphere項目中的ShardingSphere-JDBC
- Sharding-JDBC:Sharding-JDBC 最初由當時的項目發起人在2016年發佈。它最早作為一個輕量級的 JDBC 層解決方案,旨在解決資料庫分片和讀寫分離的問題。
- ShardingSphere:ShardingSphere 項目是由 Sharding-JDBC 項目發展而來的,併在2018年正式發佈。Apache ShardingSphere 致力於構建更為完整的分散式資料庫管理生態系統,包含了 Sharding-JDBC、Sharding-Proxy 和 Sharding-Sidecar等多個組件。
目前獨立的ShardingJDBC已經停更,使用到的最多的版本是 4.1.1
<dependency>
<groupId>org.apache.shardingsphere</groupId>
<artifactId>sharding-jdbc-spring-boot-starter</artifactId>
<version>4.1.1</version>
</dependency>
ShardingSphere項目目前一直處於更新迭代中,ShardingSphere-JDBC 是通過ShardingJDBC 更新迭代過來的,在原有代碼的基礎進行了一些優化和新功能加入,對於開發者而言,主要是參數的配置發生了一些調整。但是參數的作用和配置方式和以前一樣;
這裡我為了方便以後會使用到新特性,我直接使用的是 ShardingSphere-JDBC 5.2.1
官方幫助文檔:https://www.bookstack.cn/read/shardingsphere-5.1.0-zh/ecf18b21ab3f559c.md
<dependency>
<groupId>org.apache.shardingsphere</groupId>
<artifactId>shardingsphere-jdbc-core-spring-boot-starter</artifactId>
<version>5.2.1</version>
</dependency>
二. 項目依賴
案例全部的 Maven依賴如下:
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
</dependency>
<dependency>
<groupId>com.zaxxer</groupId>
<artifactId>HikariCP</artifactId>
<version>3.4.5</version>
</dependency>
<dependency>
<groupId>com.baomidou</groupId>
<artifactId>mybatis-plus-boot-starter</artifactId>
<version>3.4.0</version>
</dependency>
<!-- 讀寫分離 -->
<dependency>
<groupId>com.baomidou</groupId>
<artifactId>dynamic-datasource-spring-boot-starter</artifactId>
<version>3.3.2</version>
</dependency>
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<version>8.0.33</version>
</dependency>
<!--Shardingjdbc-->
<dependency>
<groupId>org.apache.shardingsphere</groupId>
<artifactId>shardingsphere-jdbc-core-spring-boot-starter</artifactId>
<version>5.2.1</version>
<exclusions>
<exclusion>
<groupId>org.yaml</groupId>
<artifactId>snakeyaml</artifactId>
</exclusion>
</exclusions>
</dependency>
<!-- 添加正確版本的 SnakeYAML shardingsphere-jdbc裡面的依賴版本有問題,會報錯-->
<dependency>
<groupId>org.yaml</groupId>
<artifactId>snakeyaml</artifactId>
<version>1.33</version>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
<scope>test</scope>
</dependency>
</dependencies>
三. 參數配置
application.yml 配置
server:
port: 8080
mybatis-plus:
mapper-locations: classpath*:mybatis/*.xml
type-aliases-package: com.game.sharding.dto
configuration:
map-underscore-to-camel-case: false
log-impl: org.apache.ibatis.logging.stdout.StdOutImpl
spring:
application:
name: sharding-jdbc-test
sharding-sphere:
datasource:
names: master,write,read,read2
master:
type: com.zaxxer.hikari.HikariDataSource
driver-class-name: com.mysql.cj.jdbc.Driver
jdbc-url: jdbc:mysql://127.0.0.1:3306/game_dev?characterEncoding=utf-8&useSSL=false&allowMultiQueries=true&autoReconnect=true&serverTimezone=Asia/Shanghai
username: root
password: 123456
write:
type: com.zaxxer.hikari.HikariDataSource
driver-class-name: com.mysql.cj.jdbc.Driver
jdbc-url: jdbc:mysql://127.0.0.1:3306/game_dev?characterEncoding=utf-8&useSSL=false&allowMultiQueries=true&autoReconnect=true&serverTimezone=Asia/Shanghai
username: root
password: 123456
read:
type: com.zaxxer.hikari.HikariDataSource
driver-class-name: com.mysql.cj.jdbc.Driver
jdbc-url: jdbc:mysql://127.0.0.1:3306/game_dev_read?characterEncoding=utf-8&useSSL=false&allowMultiQueries=true&autoReconnect=true&serverTimezone=Asia/Shanghai
username: root
password: 123456
read2:
type: com.zaxxer.hikari.HikariDataSource
driver-class-name: com.mysql.cj.jdbc.Driver
jdbc-url: jdbc:mysql://127.0.0.1:3306/game_dev_read?characterEncoding=utf-8&useSSL=false&allowMultiQueries=true&autoReconnect=true&serverTimezone=Asia/Shanghai
username: root
password: 123456
rules:
sharding:
tables:
team_msg:
## 這裡的customer-ds是下麵配置的讀寫分離的數據源名稱
actual-data-nodes: customer-ds.team_msg_${0..1}
table-strategy:
standard:
sharding-column: id
sharding-algorithm-name: msg-id # 對應下麵的sharding-algorithms
sharding-algorithms:
## 註意這裡名稱(例如msg-id)不能用下劃線,會載入不了下麵的參數導致啟動報錯
msg-id:
type: INLINE
props:
## 使用id取模演算法
algorithm-expression: team_msg_${id % 2}
## 讀寫分離相關
readwrite-splitting:
data-sources:
customer-ds:
load-balancer-name: customer-lb
static-strategy:
write-data-source-name: master
read-data-source-names: read,read2,write
load-balancers:
customer-lb:
## 使用自定義的複雜均衡演算法
type: CUSTOM
props:
# 顯示處理之後的真實sql
sql-show: true
四. 代碼配置
最關鍵的配置就是需要把MybatisPlus的數據源註冊為使用 shardingsphere-jdbc 的數據源,並且保證數據源的名稱和原來MybatisPlus的數據源一致,shardingSphereDataSource裡面其實有一個Map保存了application.yml中所有配置的數據源,這裡主要是為了方便後續使用@DS做動態數據源切換,所以把同一個ShardingSphere的資料庫註冊為4個動態數據源,避免使用@DS找不到對應的數據源;
import com.baomidou.dynamic.datasource.DynamicRoutingDataSource;
import com.baomidou.dynamic.datasource.provider.AbstractDataSourceProvider;
import com.baomidou.dynamic.datasource.provider.DynamicDataSourceProvider;
import com.baomidou.dynamic.datasource.spring.boot.autoconfigure.DynamicDataSourceAutoConfiguration;
import com.baomidou.dynamic.datasource.spring.boot.autoconfigure.DynamicDataSourceProperties;
import org.apache.commons.lang3.StringUtils;
import org.apache.shardingsphere.driver.jdbc.adapter.AbstractDataSourceAdapter;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.boot.SpringBootConfiguration;
import org.springframework.boot.autoconfigure.AutoConfigureBefore;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.context.annotation.Lazy;
import org.springframework.context.annotation.Primary;
import javax.annotation.Resource;
import javax.sql.DataSource;
import java.util.Arrays;
import java.util.HashMap;
import java.util.Map;
@Configuration
@AutoConfigureBefore({DynamicDataSourceAutoConfiguration.class, SpringBootConfiguration.class})
public class MyDataSourceConfiguration {
/**
* mybatisplus 動態數據源配置項
*/
@Autowired
private DynamicDataSourceProperties properties;
/**
* shardingjdbc的數據源
*/
@Lazy
@Resource(name = "shardingSphereDataSource")
private AbstractDataSourceAdapter shardingSphereDataSource;
@Value("${spring.sharding-sphere.datasource.names}")
private String shardingDataSourceNames;
/**
* 註冊動態數據源 這裡非常關鍵,因為我們需要用到@DS註解配置動態選擇數據源,同上又要讓選擇的數據源使用shardingjdbc的數據源
* 所以,這裡需要動態的把所有的數據源都註冊為 shardingjdbc的數據源
*/
@Bean
public DynamicDataSourceProvider dynamicDataSourceProvider() {
if (StringUtils.isBlank(shardingDataSourceNames)) {
throw new RuntimeException("配置 spring.sharding-sphere.datasource.names 不能為空");
}
String[] names = shardingDataSourceNames.split(",");
return new AbstractDataSourceProvider() {
@Override
public Map<String, DataSource> loadDataSources() {
Map<String, DataSource> dataSourceMap = new HashMap<>();
Arrays.stream(names).forEach(name -> dataSourceMap.put(name, shardingSphereDataSource));
return dataSourceMap;
}
};
}
/**
* 將動態數據源設置為首選數據源
*/
@Primary
@Bean
public DataSource dataSource(DynamicDataSourceProvider dynamicDataSourceProvider) {
DynamicRoutingDataSource dataSource = new DynamicRoutingDataSource();
dataSource.setPrimary(properties.getPrimary());
dataSource.setStrict(properties.getStrict());
dataSource.setStrategy(properties.getStrategy());
dataSource.setProvider(dynamicDataSourceProvider);
dataSource.setP6spy(properties.getP6spy());
dataSource.setSeata(properties.getSeata());
return dataSource;
}
}
五. 自定義ShardingSphere中的複雜均衡演算法
shardingsphere中的負載均衡需要實現ReadQueryLoadBalanceAlgorithm介面併在getType方法中返回自定義的演算法名稱,官方自帶的又RoundRobinReadQueryLoadBalanceAlgorithm,RandomReadQueryLoadBalanceAlgorithm等,這裡我們必須自定義演算法才能相容@DS註解實現自由切換數據源;
ShardingSphere使用的是SPI機制載入的,對應的載入源碼部分如下:
所以如果我們要讓自定義的ReadQueryLoadBalanceAlgorithm類生效,需要在項目中的 META-INF的services文件夾中創建org.apache.shardingsphere.readwritesplitting.spi.ReadQueryLoadBalanceAlgorithm 文件,並且把自定義的類填入該文件中
源碼中的配置如下:
那麼我們按照源碼的配置直接在自己的項目中創建即可
最後自定義的CustomLoadBalanceAlgorithm 實現
public class CustomLoadBalanceAlgorithm implements ReadQueryLoadBalanceAlgorithm {
private Properties props;
public CustomLoadBalanceAlgorithm() {
}
@Override
public void init(Properties props) {
this.props = props;
}
/**
* 獲取數據源
*
* @param name 數據源名稱(ShardingJDBC使用的)
* @param writeDataSourceName 寫數據源名稱
* @param readDataSourceNames 所有配置的複雜均衡中讀數據源名稱
* @param context 事務上下文對象,可以獲取context.isInTransaction() 判斷是否需要事務,可通過這個來判斷是否使用 寫數據源
* @return java.lang.String
*/
@Override
public String getDataSource(String name, String writeDataSourceName, List<String> readDataSourceNames, TransactionConnectionContext context) {
// 獲取當前MybatisPlus指定的數據源
String dsKey = DynamicDataSourceContextHolder.peek();
if (StringUtils.isNotBlank(dsKey)) {
if (writeDataSourceName.equals(dsKey)) {
return dsKey;
}
if (readDataSourceNames.contains(dsKey)) {
return dsKey;
}
throw new RuntimeException("@DS 配置錯誤,當前數據源[" + dsKey + "]不在SharingJDBC數據源列表[" + readDataSourceNames + "]中");
}
return writeDataSourceName;
}
@Override
public String getType() {
return "CUSTOM";
}
@Override
public boolean isDefault() {
return true;
}
@Override
@Generated
public Properties getProps() {
return this.props;
}
}
那麼此時你的ShardingSphere就已經完全適配之前MybatisPlus動態數據源了
六. 源碼
Gitee: https://gitee.com/luowenjie98/sharing-sphere-mybatisplus-demo
如果覺得對你有幫助,請給我點一個star,非常感謝 !