多数据源配置
目录
什么是数据源
数据源有哪些
DriverManagerDataSource
DBCP数据源
C3P0数据源
JNDI数据源
多数据源的配置
多数据源配置(Spring)-DriverManagerDataSource
多数据源的配置(Springboot)
什么是数据源
数据库连接池(Connection Pool)管理连接对象，而连接对象是由数据源(DataSource)创建的。数据源的属性
databaseName：数据库的名称 即数据库的SID
dataSourceName：数据源接口实现类的名称
description：数据源的描述
networkProtocol：与服务器通信使用的网络通信协议
userName：用户名
password：密码
port Number：数据库服务器的端口号
serverName： 数据库服务器名称
数据源有哪些
DriverManagerDataSource
Spring 提供的数据源实现类DriverManagerDataSource ，在org.springframework.jdbc.datasource包里面，实现了javax.sql.DataSource 接口，没有提供池化连接的机制，每次调用getConnection()创建一个新的连接。比较适合在单元测试或简单的独立应用中使用，不需要额外的依赖类。 简单使用如下：
DriverManagerDataSource ds = new DriverManagerDataSource ();
ds.setDriverClassName("com.mysql.jdbc.Driver");
ds.setUrl("jdbc:oracle:thin:@192.168.24.102:1521:sms");
ds.setUsername("test");
ds.setPassword("test");
Connection conn= ds.getConnection();
配置文件
oracle.jdbc.driver.OracleDriver
jdbc:oracle:thin:@192.168.24.102:1521:sms
test
test
DBCP数据源
Spring 在第三方依赖包中包含了两个数据源的实现类包，一个是Apache的DBCP，另一个是 C3P0。可以在Spring配置文件中利用这两者中任何一个配置数据源。DBCP类包位于/lib/jakarta-commons/commons-dbcp.jar，是一个依赖Jakarta commons-pool 对象池机制的数据库连接池，在类路径下还包括/lib/jakarta- commons/commons-pool.jar，还有一个commons-collections.jar包项，为Java标准的Collections API提供补充和拓展。DBCP对MySql数据源的配置：
destroy-method：BasicDataSource提供了close()方法关闭数据源，必须设定destroy-method=”close”， 以便Spring容器关闭时，数据源能够正常关闭。
defaultAutoCommit：设置从数据源中返回的连接是否采用自动提交机制，默认值为 true。
defaultReadOnly：设置数据源是否仅能执行只读操作， 默认值为 false。
maxActive：最大连接数据库连接数，设置为0时，表示没有限制。
maxIdle：最大等待连接中的数量，设置为0时，表示没有限制。
maxWait：最大等待秒数，单位为毫秒， 超过时间会报出错误信息。
validationQuery：用于验证连接是否成功的查询SQL语句，SQL语句必须至少要返回一行数据。 可以简单地设置为：“select count(*) from user”。
removeAbandoned：是否自我中断，默认是 false 。
removeAbandonedTimeout：几秒后数据连接会自动断开，在removeAbandoned为true，提供该值；
logAbandoned：是否记录中断事件， 默认为 false。
C3P0数据源
C3P0是一个开放源代码的JDBC数据源，类包位于/lib/c3p0/c3p0-0.9.0.4.jar。C3P0配置一个Oracle数据源：
ComboPooledDataSource和BasicDataSource一样提供了一个用于关闭数据源的close()方法，C3P0拥有比DBCP更丰富的配置属性，通过这些属性，可以对数据源进行各种有效的控制：
acquireIncrement：当连接池中的连接用完时，C3P0一次性创建新连接的数目。
acquireRetryAttempts：定义在从数据库获取新连接失败后重复尝试获取的次数，默认为30。
acquireRetryDelay：两次连接中间隔时间，单位毫秒，默认为1000。
autoCommitOnClose：连接关闭时默认将所有未提交的操作回滚。默认为false。
automaticTestTable： C3P0将建一张名为Test的空表，并使用其自带的查询语句进行测试。如果定义了这个参数，那么属性preferredTestQuery将被忽略。不能在这张Test表上进行任何操作，它将中为C3P0测试所用，默认为null。
breakAfterAcquireFailure：获取连接失败将会引起所有等待获取连接的线程抛出异常。但是数据源仍有效保留，并在下次调 用getConnection()的时候继续尝试获取连接。如果设为true，那么在尝试获取连接失败后该数据源将申明已断开并永久关闭。默认为 false。
checkoutTimeout：当连接池用完时客户端调用getConnection()后等待获取新连接的时间，超时后将抛出SQLException，如设为0则无限期等待。单位毫秒，默认为0。
connectionTesterClassName： 通过实现ConnectionTester或QueryConnectionTester的类来测试连接，类名需设置为全限定名。默认为 com.mchange.v2.C3P0.impl.DefaultConnectionTester。
idleConnectionTestPeriod：隔多少秒检查所有连接池中的空闲连接，默认为0表示不检查。
initialPoolSize：初始化时创建的连接数，应在minPoolSize与maxPoolSize之间取值。默认为3。
maxIdleTime：最大空闲时间，超过空闲时间的连接将被丢弃。为0或负数则永不丢弃。默认为0。
maxPoolSize：连接池中保留的最大连接数。默认为15； maxStatements：JDBC的标准参数，用以控制数据源内加载的PreparedStatement数量。但由于预缓存的Statement属 于单个Connection而不是整个连接池。所以设置这个参数需要考虑到多方面的因素，如果maxStatements与 maxStatementsPerConnection均为0，则缓存被关闭。默认为0。
maxStatementsPerConnection：连接池内单个连接所拥有的最大缓存Statement数。默认为0。
numHelperThreads：C3P0是异步操作的，缓慢的JDBC操作通过帮助进程完成。扩展这些操作可以有效的提升性能，通过多线程实现多个操作同时被执行。默认为3。
preferredTestQuery：定义所有连接测试都执行的测试语句。在使用连接测试的情况下这个参数能显著提高测试速度。测试的表必须在初始数据源的时候就存在。默认为null。
propertyCycle： 用户修改系统配置参数执行前最多等待的秒数。默认为300。
testConnectionOnCheckout：因性能消耗大请只在需要的时候使用它。如果设为true那么在每个connection提交的时候都 将校验其有效性。建议使用idleConnectionTestPeriod或automaticTestTable 等方法来提升连接测试的性能。默认为false。
testConnectionOnCheckin：如果设为true那么在取得连接的同时将校验连接的有效性。默认为false。
配置文件的方式引用属性
在jdbc.properties属性文件中定义属性值： jdbc.driverClassName= com.mysql.jdbc.Driver jdbc.url= jdbc:mysql://localhost:3309/sampledb jdbc.username=root jdbc.password=1234
在${xxx}的前后不小心键入一些空格，这些空格字符将和变量合并后会作为属性的值，被解析后username的值为“ 1234 ”，需要特别小心。
JNDI数据源
如果应用配置在高性能的应用服务器（如WebLogic或Websphere等）上，我们可能更希望使用应用服务器本身提供的数据源。应用服务器的数据源使用JNDI开放调用者使用，Spring为此专门提供引用JNDI资源的JndiObjectFactoryBean类。配置例子：
java:comp/env/jdbc/TerasolunaSampleDataSource
通过jndiName指定引用的JNDI数据源名称。 Spring2.0为获取J2EE资源提供了一个jee命名空间，通过jee命名空间，可以有效地简化J2EE资源的引用。下面是使用jee命名空间引用JNDI数据源的配置：
附在/META-INF/context.xml的DataSource：
多数据源的配置
多数据源配置(Spring)-DriverManagerDataSource
实现步骤
1. 在配置文件里面配置多个数据源
2. 新建类 DynamicDataSource
3.配置 DynamicDataSource
4. 给TheadLocal赋值
在配置文件里面配置多个数据源
新建类 DynamicDataSource
AbstractRoutingDataSource是spring的多数据源管理的抽象类，新建类DynamicDataSource继承AbstractRoutingDataSource，重写determineCurrentLookupKey方法，这个方法是多数据源的调用的逻辑部分，它返回一个多数据源的key，根据key找到对应的DataSource。配置DynamicDataSource时，需要指定targetDataSources，就是目标数据源，是一个map，key就是通过targetDataSources获得对应的数据源。现场安全考虑这里使用TheadLocal。
public class DynamicDataSource extends AbstractRoutingDataSource {
public static ThreadLocal key = new ThreadLocal();
@Override
protected Object determineCurrentLookupKey() {
return key.get();
}
} 配置 DynamicDataSource
TheadLocal赋值，Service层中需要给key进行赋值，指定将使用的dataSource。
public Column selectOne(int id) {
DynamicDataSource.key.set("cms");
Column col =mapper.selectOne(id);
DataSourceKey.key.remove();
return col;
}像这样在每个方法前后加上赋值和移除复制的语句很麻烦 代码不好维护，利用spring的AOP实现
配置SpringAOP
自定义注解
@Documented
@Retention(RetentionPolicy.RUNTIME)
@Target({ElementType.TYPE})
public @interface DataSource {
String value() default EPG;
String CMS = "cms";
String EPG = "epg";
}切面类
@Component
@Aspect
public class DataSourceAspect {
@Pointcut("execution(* com.lc.service.*.*(..))")
public void aspect() {
}
@Before("aspect()")
public void before(JoinPoint jp) throws Throwable{
Class class1 = jp.getTarget().getClass();
DataSource anno = class1.getAnnotation(DataSource.class);
if(anno != null) {
DynamicDataSource.key.set(anno.value());
} else {
String key = (String) DataSource.class.getMethod("value").getDefaultValue();
DynamicDataSource.key.set(key);
}
}
@After("execution(* com.lc.service.*Service.*(..))")
public void after(JoinPoint jp) throws Throwable{
DynamicDataSource.key.remove();
}
}添加注解
@Service
@DataSource(DataSource.CMS)
public class ServiceTestImpl{
@AutoWired
TestMapper testMapper;
}多数据源的配置(Springboot)
如果一个项目要用到多个数据库，就需要配置多个数据源来连接多个数据库。
配置依赖
org.springframework.boot
spring-boot-starter
org.springframework.boot
spring-boot-starter-test
test
org.springframework.boot
spring-boot-starter-aop
org.springframework.boot
spring-boot-starter-web
com.baomidou
mybatis-plus-boot-starter
3.4.1
com.alibaba
druid-spring-boot-starter
1.2.4
mysql
mysql-connector-java
org.projectlombok
lombok
配置文件
server:
port: 8080
spring:
datasource:
type: com.alibaba.druid.pool.DruidDataSource
driverClassName: com.mysql.cj.jdbc.Driver
druid:
master:
url: jdbc:mysql://localhost:3306/test1?useUnicode=true&characterEncoding=utf-8&serverTimezone=Asia/Shanghai
username: root
password: root123456
slave:
enabled: true
url: jdbc:mysql://localhost:3306/test?useUnicode=true&characterEncoding=utf-8&serverTimezone=Asia/Shanghai
username: root
password: root123456
# 初始连接数
initialSize: 5
# 最小连接池数量
minIdle: 10
# 最大连接池数量
maxActive: 20
# 配置获取连接等待超时的时间
maxWait: 60000
# 配置间隔多久才进行一次检测，检测需要关闭的空闲连接，单位是毫秒
timeBetweenEvictionRunsMillis: 60000
# 配置一个连接在池中最小生存的时间，单位是毫秒
minEvictableIdleTimeMillis: 300000
# 配置一个连接在池中最大生存的时间，单位是毫秒
maxEvictableIdleTimeMillis: 900000
# 配置检测连接是否有效
validationQuery: SELECT 1 FROM DUAL
testWhileIdle: true
testOnBorrow: false
testOnReturn: false
webStatFilter:
enabled: true
statViewServlet:
enabled: true
# 设置白名单，不填则允许所有访问
allow:
url-pattern: /druid/*
# 控制台管理用户名和密码
login-username: ruoyi
login-password: 123456
filter:
stat:
enabled: true
# 慢SQL记录
log-slow-sql: true
slow-sql-millis: 1000
merge-sql: true
wall:
config:
multi-statement-allow: true启动类
移除了DataSource的自动配置，映入自己的配置类DynamicDataSourceConfig
@MapperScan("com.zgr.mapper")
@SpringBootApplication(exclude = {DataSourceAutoConfiguration.class})
@Import({DynamicDataSourceConfig.class})
public class ManyDatasourceApplication {
public static void main(String[] args) {
SpringApplication.run(ManyDatasourceApplication.class, args);
}
}枚举类定义主、从库
public enum DataSourceType
{
/**
* 主库
*/
MASTER,
/**
* 从库
*/
SLAVE
}数据源配置类
DynameicDataSource根据不同的key来设置不同的数据源，可以手动调用setDataSource()和clearDataSource()控制。
public class DynamicDatasource extends AbstractRoutingDataSource {
/**
* ThreadLocal 用于提供线程局部变量，在多线程环境可以保证各个线程里的变量独立于其它线程里的变量。
* 也就是说 ThreadLocal 可以为每个线程创建一个【单独的变量副本】，相当于线程的 private static 类型变量。
*/
private static final ThreadLocal CONTEXT_HOLDER = new ThreadLocal<>();
/**
* 决定使用哪个数据源之前需要把多个数据源的信息以及默认数据源信息配置好
*
* @param defaultTargetDataSource 默认数据源
* @param targetDataSources 所有数据源
*/
public DynamicDatasource(DataSource defaultTargetDataSource, Map targetDataSources) {
super.setDefaultTargetDataSource(defaultTargetDataSource);
super.setTargetDataSources(targetDataSources);
super.afterPropertiesSet();
}
/*
* determineCurrentLookupKey()方法设定数据源的key
* 父类方法中会根据设定的key找到对应的数据源
*/
@Override
protected Object determineCurrentLookupKey() {
return getDataSource();
}
//手动设置数据源
public static void setDataSource(String dataSource) {
CONTEXT_HOLDER.set(dataSource);
}
public static String getDataSource() {
return CONTEXT_HOLDER.get();
}
//手动清除数据源
public static void clearDataSource() {
CONTEXT_HOLDER.remove();
}
} 自定义配置类，加载配置文件中的数据库的配置并注入
@Configuration
public class DynamicDataSourceConfig {
@Bean
@ConfigurationProperties("spring.datasource.druid.master")
public DataSource firstDataSource(DruidProperties druidProperties){
DruidDataSource dataSource = DruidDataSourceBuilder.create().build();
return druidProperties.dataSource(dataSource);
}
@Bean
@ConfigurationProperties("spring.datasource.druid.slave")
public DataSource secondDataSource(DruidProperties druidProperties){
DruidDataSource dataSource = DruidDataSourceBuilder.create().build();
return druidProperties.dataSource(dataSource);
}
@Bean
@Primary
public DynamicDatasource dataSource(DataSource firstDataSource, DataSource secondDataSource) {
Map targetDataSources = new HashMap<>(5);
targetDataSources.put(DataSourceType.MASTER.name(), firstDataSource);
targetDataSources.put(DataSourceType.SLAVE.name(), secondDataSource);
return new DynamicDatasource(firstDataSource, targetDataSources);
}
}
@Configuration
public class DruidProperties
{
@Value("${spring.datasource.druid.initialSize}")
private int initialSize;
@Value("${spring.datasource.druid.minIdle}")
private int minIdle;
@Value("${spring.datasource.druid.maxActive}")
private int maxActive;
@Value("${spring.datasource.druid.maxWait}")
private int maxWait;
@Value("${spring.datasource.druid.timeBetweenEvictionRunsMillis}")
private int timeBetweenEvictionRunsMillis;
@Value("${spring.datasource.druid.minEvictableIdleTimeMillis}")
private int minEvictableIdleTimeMillis;
@Value("${spring.datasource.druid.maxEvictableIdleTimeMillis}")
private int maxEvictableIdleTimeMillis;
@Value("${spring.datasource.druid.validationQuery}")
private String validationQuery;
@Value("${spring.datasource.druid.testWhileIdle}")
private boolean testWhileIdle;
@Value("${spring.datasource.druid.testOnBorrow}")
private boolean testOnBorrow;
@Value("${spring.datasource.druid.testOnReturn}")
private boolean testOnReturn;
public DruidDataSource dataSource(DruidDataSource datasource)
{
/** 配置初始化大小、最小、最大 */
datasource.setInitialSize(initialSize);
datasource.setMaxActive(maxActive);
datasource.setMinIdle(minIdle);
/** 配置获取连接等待超时的时间 */
datasource.setMaxWait(maxWait);
/** 配置间隔多久才进行一次检测，检测需要关闭的空闲连接，单位是毫秒 */
datasource.setTimeBetweenEvictionRunsMillis(timeBetweenEvictionRunsMillis);
/** 配置一个连接在池中最小、最大生存的时间，单位是毫秒 */
datasource.setMinEvictableIdleTimeMillis(minEvictableIdleTimeMillis);
datasource.setMaxEvictableIdleTimeMillis(maxEvictableIdleTimeMillis);
/**
* 用来检测连接是否有效的sql，要求是一个查询语句，常用select 'x'。如果validationQuery为null，testOnBorrow、testOnReturn、testWhileIdle都不会起作用。
*/
datasource.setValidationQuery(validationQuery);
/** 建议配置为true，不影响性能，并且保证安全性。申请连接的时候检测，如果空闲时间大于timeBetweenEvictionRunsMillis，执行validationQuery检测连接是否有效。 */
datasource.setTestWhileIdle(testWhileIdle);
/** 申请连接时执行validationQuery检测连接是否有效，做了这个配置会降低性能。 */
datasource.setTestOnBorrow(testOnBorrow);
/** 归还连接时执行validationQuery检测连接是否有效，做了这个配置会降低性能。 */
datasource.setTestOnReturn(testOnReturn);
return datasource;
}
} 使用注解的方式实现数据源切换
//自定义注解
@Target(ElementType.METHOD)
@Retention(RetentionPolicy.RUNTIME)
@Documented
public @interface CurDataSource {
String name() default "";
}
@Target(ElementType.METHOD)
@Retention(RetentionPolicy.RUNTIME)
@Documented
public @interface SwitchDataSource {
public DataSourceType name() default DataSourceType.MASTER;
}使用切面捕获注解，实现数据源切换
@Slf4j
@Aspect
@Component
@Order(1)
public class AspectPoint {
//切点为注解所在方法
@Pointcut("@annotation(com.zgr.datasource.SwitchDataSource)")
public void pointCut(){
}
@Around("pointCut()")
public Object around(ProceedingJoinPoint point) throws Throwable {
MethodSignature methodSignature =(MethodSignature) point.getSignature();
Method method = methodSignature.getMethod();
SwitchDataSource annotation = method.getAnnotation(SwitchDataSource.class);
//默认是主库
if(annotation==null){
DynamicDatasource.setDataSource(DataSourceType.MASTER.name());
}else{
DynamicDatasource.setDataSource(annotation.name().name());
}
try {
return point.proceed();
} finally {
//注解标柱的方法执行后要销毁数据源
DynamicDatasource.clearDataSource();
}
}
}把注解加在要执行的方法上即可
@Service
public class UserServiceImpl extends ServiceImpl implements UserService{
@Override
public User getMasterUser(int id) {
return this.getById(1);
}
@SwitchDataSource(name =DataSourceType.SLAVE)
@Override
public User getSlaveUser(int id) {
return this.getById(1);
}
}