spring-cloud使用resilience4j实现熔断、限流

由于hystrix官方已经停止维护了,目前spring-cloud推荐使用resilience4j来代替hystrix实现熔断、限流。

熔断一般指客户端调用服务端接口出现异常时客户端侧的处理,当然也可以是服务端的处理出现异常时熔断快速返回,可以暂时切断对下游服务的调用,是一种牺牲局部保全整体的有效措施(同时此客户端也可能是服务端)。

限流一般是指限制在指定时间间隔内的请求量,避免因请求过多导致服务崩溃,限流被看作是服务端的自我保护能力。

1、客户端openfeign使用resilience4j实现熔断

模拟一个客户端,通过feign调用一个服务端接口来模拟此功能

使用spring-boot的版本为2.7.3,spring-cloud版本为2021.0.4,关键的依赖如下

  • 1.1、引入关键依赖

    org.springframework.cloud
    spring-cloud-starter-circuitbreaker-resilience4j


    org.springframework.cloud
    spring-cloud-starter-openfeign


    org.springframework.cloud
    spring-cloud-starter-loadbalancer


    io.github.resilience4j
    resilience4j-feign

  • 1.2、application.yaml增加以下熔断配置
resilience4j:
  circuitbreaker:
    instances:
      ApiService:
        registerHealthIndicator: true
        slidingWindowSize: 7
        slidingWindowType: COUNT_BASED
        waitDurationInOpenState: 5000
        permittedNumberOfCallsInHalfOpenState: 6
feign:
  client:
    config:
      default:
        readTimeout: 1000
        connectTimeout: 1000
  circuitbreaker:
    enabled: true
logging:
  level:
    root: info
  pattern:
    console: "%d{${LOG_DATEFORMAT_PATTERN:HH:mm:ss.SSS}} %m%n"

需要注意的是feign需要开启circuitbreaker,并在启动类中增加@EnableFeignClients,

spring-boot默认情况下会使用logback来管理日志,为了便于观察调整参数后的效果调整一下日志格式,在此案例中默认的日志格式在org.springframework.boot.logging.logback.DefaultLogbackConfiguration类中defaults方法中定义,此类在包spring-boot:2.7.3中。

增加feign客户端请求类并需要增加fallback方法处理熔断后的默认返回,简单写一个测试类完成测试,观察对应的参数情况

  • 1.3、编写一个feign client端
//ApiClient.java
@FeignClient(name = "ApiService", url = "http://localhost:8082")
public interface ApiClient {

    @GetMapping("/api/test")
    @CircuitBreaker(name = "ApiService", fallbackMethod = "getUserFallback")
    String getUser(@RequestParam(name = "param") String param, @RequestParam(name = "time") int time);

    default String getUserFallback(String param, int time, Exception exc) {
        return "default value";
    }

}
  • 1.3、编写一个单元测试模拟调用
//ResilienceTest.java
@Slf4j
@SpringBootTest
class ResilienceTest {

    @Autowired
    private ApiClient apiClient;

    @Autowired
    private CircuitBreakerRegistry circuitBreakerRegistry;

    @Test
    void test() throws Exception {
        for (int i = 0; i < 1000; i++) {
            apiClient.getUser("test", 500);
            status();
            Thread.sleep(500);
        }
    }

    private void status() {
        CircuitBreaker breaker = circuitBreakerRegistry.circuitBreaker("ApiService");
        CircuitBreaker.Metrics metrics = breaker.getMetrics();
        log.info("state={},metrics[failureRate={},bufferedCalls={},failedCalls={},successCalls={},maxBufferCalls={},notPermittedCalls={}]"
                , breaker.getState(), metrics.getFailureRate(), metrics.getNumberOfBufferedCalls(), metrics.getNumberOfFailedCalls()
                , metrics.getNumberOfSuccessfulCalls(), metrics.getNumberOfBufferedCalls(), metrics.getNumberOfNotPermittedCalls());
    }

}

在没有任务服务端的情况下,运行单元测试即可模拟熔断的效果。另外需要注意配置的feign调用的超时,单元测试中增加获取metrics并打印以便观察效果;

运行结果如下

image.png

简单分析一下,滑动窗口的大小slidingWindowSize为7,滑动窗口类型slidingWindowType为计数器,熔断器从打开到半开的状态等待时间为5秒,熔断器半开状态下允许的数量permittedNumberOfCallsInHalfOpenState为6。

failureRateThreshold的含义:如60(即%60),这个阈值控制两个状态的变化,从CLOSE=>OPEN时,表示当错误率高于60%时开启熔断,而状态从HALF_OPEN=>CLOSE时,表示当错误率低于60%时关闭熔断;

image.png
2、服务端使用resilience4j实现限流

使用一个服务端的接口简单模拟一下限流的方式,如设定5秒内最多10个请求,观察异常情况;

同样是使用spring-boot的版本2.7.3,spring-cloud版本2021.0.4进行模拟

  • 2.1、引入关键依赖

    org.springframework.cloud
    spring-cloud-starter-circuitbreaker-resilience4j



    org.springframework.boot
    spring-boot-starter-aop

  • 2.2、application.yaml配置文件增加ratelimiter配置
resilience4j:
  ratelimiter:
    instances:
      ApiService:
        limitForPeriod: 10
        limitRefreshPeriod: 5s
        timeoutDuration: 0

limitRefreshPeriod表示刷新周期,limitForPeriod表示一个时间周期内请求的总数,配置表示5秒内允许10个请求。

  • 2.3、写一个controller接收请求,service处理请求并增加限流控制,同时增加一个限流后异常处理
//ApiController.java
@Slf4j
@RequestMapping("/api")
@RestController
public class ApiController {

    @Autowired
    private ApiService apiService;

    @GetMapping("/limit")
    public String limit() {
        return apiService.limit();
    }

}

//ApiService.java
@Slf4j
@Service
public class ApiService {

    @RateLimiter(name = "ApiService", fallbackMethod = "testFallback")
    public String limit() {
        return "success";
    }

    @SneakyThrows
    public String testFallback(java.lang.Throwable exception) {
        throw exception;
    }

}

//Advice.java
@Slf4j
@ControllerAdvice
public class Advice {

    @ExceptionHandler(RequestNotPermitted.class)
    @ResponseStatus(HttpStatus.TOO_MANY_REQUESTS)
    public void error(){
        log.error("Too Many Requests");
    }

}

编写一个ControllerAdvice通过处理RequestNotPermitted异常,返回客户端响应码429。

  • 2.3、编写一个测试类模拟限流情况
@Slf4j
@SpringBootTest
class ResilienceTest {

    private RestTemplate restTemplate = new RestTemplate();

    @Test
    void limit() throws Exception {
        for (int i = 1; i <= 99; i++) {
            try {
                ResponseEntity response = restTemplate.getForEntity("http://localhost:9999/api/limit", String.class);
                log.info("status code {} {}", String.format("%02d", i), response.getStatusCode());
            } catch (HttpClientErrorException e) {
                log.error("status code {}", e.getStatusCode());
            }
            Thread.sleep(400);
        }
    }


}

可以适当减少单元测试的休眠时间,观察发生限流的情况。

你可能感兴趣的:(spring-cloud使用resilience4j实现熔断、限流)