使用ShardingJDBC实现分库分表

一、测试环境

1. JDK：1.8
2. SpringBoot：2.7.17
3. MySQL驱动：5.1.49
4. MyBatis：2.3.1
5. shardingJDBC：5.1.0

二、核心依赖

<!-- mysql 驱动 -->
<dependency>
	<groupId>mysql</groupId>
	<artifactId>mysql-connector-java</artifactId>
	<version>5.1.49</version>
</dependency>

<!-- mybatis 依赖 -->
<dependency>
	<groupId>org.mybatis.spring.boot</groupId>
	<artifactId>mybatis-spring-boot-starter</artifactId>
	<version>2.3.1</version>
</dependency>

<!-- sharding-jdbc依赖 -->
<dependency>
	<groupId>org.apache.shardingsphere</groupId>
	<artifactId>shardingsphere-jdbc-core-spring-boot-starter</artifactId>
	<version>5.1.0</version>
</dependency>

三、测试分库分表思路

在本地配置了两个数据库 testshardingdb1 和 testshardingdb2，然后每个库中有两个表user_1 和 user_2，使用分库分表工具 shardingJDBC 实现分库分表。

四、配置分库分表策略（关键）

具体配置文件如下：

# 控制台输出彩色日志
spring.output.ansi.enabled: ALWAYS

# 定义数据源。这里定义了两个数据源，分别为m1和m2
spring.shardingsphere.datasource.names=m1,m2

# 初始化m1数据源。包括初始化连接url、用户名、密码、驱动类名、数据源类型
spring.shardingsphere.datasource.m1.url=jdbc:mysql://127.0.0.1:3306/testshardingdb1?characterEncoding=utf8&useSSL=false
spring.shardingsphere.datasource.m1.username=root
spring.shardingsphere.datasource.m1.password=123456
spring.shardingsphere.datasource.m1.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.m1.type=com.zaxxer.hikari.HikariDataSource

# 同样的配置项也适用于数据源m2，只是将前缀中的m1改为m2，将数据库名替换。
spring.shardingsphere.datasource.m2.url=jdbc:mysql://127.0.0.1:3306/testshardingdb2?characterEncoding=utf8&useSSL=false
spring.shardingsphere.datasource.m2.username=root
spring.shardingsphere.datasource.m2.password=123456
spring.shardingsphere.datasource.m2.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.m2.type=com.zaxxer.hikari.HikariDataSource

# 数据分片信息存储在内存中，适用于轻量级的应用或者开发、测试环境。
spring.shardingsphere.mode.type=Memory

# 定义了逻辑表user在不同数据库中的实际数据节点，$->{1..2}表示数据源的数量，$->{1..2}表示数据库的数量。
spring.shardingsphere.rules.sharding.tables.user.actualDataNodes=m$->{1..2}.user_$->{1..2}
# 定义了数据库分片策略的分片键，这里使用了user表的sex列作为分片键。
spring.shardingsphere.rules.sharding.tables.user.databaseStrategy.standard.shardingColumn=sex
# 定义了数据库分片策略使用的分片算法，这里使用了名为database-inline的内联分片算法。
spring.shardingsphere.rules.sharding.tables.user.databaseStrategy.standard.shardingAlgorithmName=database-inline
# 定义了表分片策略的分片键，这里使用了user表的id列作为分片键。
spring.shardingsphere.rules.sharding.tables.user.tableStrategy.standard.shardingColumn=id
# 定义了表分片策略使用的分片算法，这里使用了名为table-inline的内联分片算法。
spring.shardingsphere.rules.sharding.tables.user.tableStrategy.standard.shardingAlgorithmName=table-inline

# 定义了名为database-inline的内联分片算法的类型
spring.shardingsphere.rules.sharding.shardingAlgorithms.database-inline.type=INLINE
# 定义了database-inline分片算法的具体算法表达式，这里根据sex列的值进行分片，将奇数的数据放在m1数据源中，偶数的数据放在m2数据源中。
spring.shardingsphere.rules.sharding.shardingAlgorithms.database-inline.props.algorithm-expression=m$->{sex % 2 + 1}
# 定义了名为table-inline的内联分片算法的类型。
spring.shardingsphere.rules.sharding.shardingAlgorithms.table-inline.type=INLINE
# 定义了table-inline分片算法的具体算法表达式，这里根据id列的值进行分片，为了打乱这里采用模3。
spring.shardingsphere.rules.sharding.shardingAlgorithms.table-inline.props.algorithm-expression=user_$->{(id % 3 == 0) ? id % 3 + 1 : id % 3}

# 定义了user表主键生成策略的列名，这里使用id列作为主键。
spring.shardingsphere.rules.sharding.tables.user.key-generate-strategy.column=id
# 定义了默认的主键生成策略，这里使用了snowflake算法。
spring.shardingsphere.sharding.default-key-generate-strategy.xxx=snowflake
# 定义了名为snowflake的主键生成策略的类型，这里使用了Snowflake算法。
spring.shardingsphere.rules.sharding.key-generators.snowflake.type=SNOWFLAKE

# 打开sql输出日志
spring.shardingsphere.props.sql-show=true

# 指定 xxxMapper.xml的扫描路径
mybatis.mapper-locations: classpath:mapper/**/*.xml

上述配置实现了基于sex和id两个字段对数据进行分片，通过配置不同的分片算法和分片键，将数据分散存储在不同的数据库和表中，简单实现了数据的水平拆分和负载均衡。

五、编写数据库操作语句

@Data
public class User {
    private Long id; // 雪花id-64位
    private String name; // 姓名
    private int sex; // 性别
}

@Mapper
public interface ShardingDao {

    // 往库表插入数据
    int insertUser(User user);

    // 查询所有库表数据
    List<User> selectUser();

}

注意：mapper.xml中SQL语句中的表名是上面配置的逻辑表名：user

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="com.example.demo.dao.ShardingDao">


    <insert id="insertUser" parameterType="com.example.demo.model.User">
        insert into user(name, sex) values (#{name}, #{sex})
    </insert>


    <select id="selectUser" resultType="com.example.demo.model.User">
        select * from user
    </select>
</mapper>

六、分库分表测试

1、插入100条数据

@SpringBootTest
public class ShardingJDBCTest {

    @Autowired
    private ShardingDao shardingDao;
    @Autowired
    private DataSource dataSource;

	// 插入100条数据
    @Test
    public void testInsertShardingJDBC() {
        User user = new User();
        for(int i=0; i<100; i++) {
            user.setName("小明" + i);
            user.setSex(i);
            if(shardingDao.insertUser(user) == 1) {
                System.out.println("插入成功！");
            } else {
                System.out.println("插入失败！");
            }
        }
    }
    
	// 查询所有数据
    @Test
    public void testSelectShardingJDBC() {
        List<User> users = shardingDao.selectUser();
        if (users == null) {
            System.out.println("查询失败！结果为null");
        } else {
            for (User user:users) {
                System.out.println(user);
            }
        }
    }
}

因为上面我们开启了shardingJDBC的打印日志，控制台可以看到逻辑SQL和实际SQL：

查看插入结果：

2、查询所有数据

@SpringBootTest
public class ShardingJDBCTest {

    @Autowired
    private ShardingDao shardingDao;
    @Autowired
    private DataSource dataSource;

	// 查询所有数据
    @Test
    public void testSelectShardingJDBC() {
        List<User> users = shardingDao.selectUser();
        if (users == null) {
            System.out.println("查询失败！结果为null");
        } else {
            for (User user:users) {
                System.out.println(user);
            }
        }
    }
}

查询结果（部分）：