分布式弹性故障处理框架——Polly(1)
1 前言之服务雪崩
在我们实施微服务之后，服务间的调用变得异常频繁，多个服务之前可能存在互相依赖的关系，当某个服务出现故障或者是因为服务间的网络出现故障，导致服务调用的失败，进而影响到某个业务服务处理失败，服务依赖的故障可能导致级联崩溃，如一个微服务不可用拖垮整个系统。【服务雪崩】
服务雪崩通常遵循 “从局部故障到全局崩溃” 的递进路径，可拆解为以下步骤：
- 初始故障
某个基础服务（如数据库、缓存、第三方 API）因过载、网络中断或 bug 出现响应延迟或失败。
例：支付服务因数据库连接池耗尽，处理请求的时间从 100ms 增至 5s。 - 请求堆积
依赖该故障服务的上游服务（如订单服务）因等待响应，线程 / 连接被长时间占用，无法释放资源。
例：订单服务调用支付服务时，每个请求都需等待 5s，而线程池容量有限（如 200 线程），很快所有线程被占满。 - 级联阻塞
上游服务因资源耗尽，无法处理新请求，导致依赖它的更上游服务（如用户服务）也出现资源耗尽。
例：用户服务调用订单服务时，因订单服务无响应，用户服务的线程也被占满，无法处理用户登录请求。 - 全局崩溃
故障像多米诺骨牌一样扩散，最终整个系统的核心功能（如下单、支付、登录）全部失效。
服务雪崩的本质是 “故障的无限制扩散”. 就像是蝴蝶效应最后导致美国得克萨斯州的一场龙卷风
2 如何解决服务雪崩
针对雪崩的形成机制，需从 “限制资源消耗”“隔离故障”“快速失败” 三个维度设计防护策略：
- 熔断机制（Circuit Breaker）
- 原理：当某个服务的失败率超过阈值（如 50% 失败），暂时 “断开” 对它的调用，直接返回降级结果，避免资源浪费。
- 效果：防止故障服务持续消耗上游资源，给故障服务恢复的时间窗口。
- 限流机制（Rate Limiting）
- 原理：限制单位时间内对某个服务的请求量（如每秒 1000 次），防止瞬时流量冲垮服务。
- 场景：针对下游服务的最大承载能力，提前设置流量阈值。
- 隔离机制（Isolation）
- 原理：为不同服务的调用分配独立的资源池（线程池、连接池），避免一个服务的故障耗尽全局资源。
- 例：订单服务调用支付服务时使用单独的线程池（20 线程），调用库存服务时使用另一个线程池（30 线程），即使支付服务故障，也不会影响库存服务的调用。
- 超时控制（Timeout）
- 原理：为服务调用设置明确的超时时间（如 2s），超过时间直接终止请求，避免线程被无限期占用。
- 关键：超时时间需根据下游服务的正常响应时间合理设置（通常略高于 99% 请求的处理时间）。
- 降级策略（Fallback）
- 原理：当服务调用失败时，返回预设的兜底结果（而非直接报错），保证核心流程可用。
- 例：推荐服务故障时，返回默认热门商品列表；支付服务超时后，返回 “支付中，请稍后查询”。
3 什么是Polly
Polly 是 .NET 生态中一款强大的 弹性和瞬态故障处理库，主要用于处理分布式系统中常见的网络故障、超时、资源限流等问题，通过预定义的策略（如重试、熔断、超时等）提高应用程序的稳定性和容错能力。从而增强服务的可用性
3.1 超时策略
超时策略可防止因长时间阻塞导致的资源耗尽或级联故障.
在 Polly 中，TimeoutStrategy 是控制超时行为的核心枚举，
定义了两种不同的超时处理机制：乐观超时（Optimistic）和悲观超时（Pessimistic）
Optimistic使用CancellationToken取消服务，默认是使用乐观超时的处理机制
Pessimistic 不需要使用CancellationToken，强制终端业务逻辑，这种情形可能会导致相关联的资源没有关闭。需要对这部分逻辑做处理
策略类型 触发条件 依赖操作协作 抛出的异常类型 乐观超时 超时 + 操作响应取消 是 OperationCanceledException悲观超时 超时（强制触发） 否 TimeoutRejectedException
/// 3.2 重试策略
在分布式系统中，网络请求可能会因为临时故障（如网络抖动、服务暂时不可用）而失败。Polly 的重试策略（Retry Policy）是处理这类问题的有效工具，它可以在请求失败时自动重试，提高系统的稳定性和容错能力。
固定次数重试策略
/// 3.3 降级策略
服务降级（Service Degradation 是一种应对系统过载或依赖服务故障的弹性策略，通过暂时牺牲部分非核心功能或服务质量，确保系统核心功能的可用性和稳定性.一般是碰到异常时会给一个默认回调的形式去代替原有的服务
/// 3.4 熔断策略
Polly 的熔断策略（Circuit Breaker）用于在系统检测到持续故障时，自动断开（熔断）对特定服务的请求，防止系统资源被耗尽并快速失败。当熔断器处于开启状态时，所有请求会立即被拒绝（抛出
BrokenCircuitException），直到经过设定的恢复期后，熔断器会进入半开状态，允许部分请求尝试恢复服务。如果这些请求成功，则关闭熔断器；否则，继续保持开启。熔断器包含三个状态
Closed（闭合）：正常状态，操作允许执行。
Open（断开）：熔断状态，所有操作被快速失败，不再尝试执行。
Half-Open（半开）：熔断器尝试恢复，允许少量操作执行以测试依赖服务是否恢复。
Polly提供两种熔断器策略：
基于连续失败次数的熔断器（Basic Circuit Breaker）
基于高级失败率（滑动窗口）的熔断器（Advanced Circuit Breaker）
熔断器状态需要跨多个调用共享，因此通常将熔断器策略实例声明为静态或通过依赖注入容器注入（单例生命周期）。
BasicCircuitBreaker代码演示
// 静态熔断器实例（状态持久化）
private static readonly AsyncCircuitBreakerPolicy _circuitBreaker = Policy
.Handle<Exception>()
.CircuitBreakerAsync(
exceptionsAllowedBeforeBreaking: 4,
durationOfBreak: TimeSpan.FromSeconds(30),
onBreak: (ex, breakDelay) =>
{
Debug.WriteLine($"熔断开启！持续 {breakDelay.TotalSeconds} 秒。");
},
onReset: () =>
{
Debug.WriteLine("熔断关闭，恢复正常请求。");
},
onHalfOpen: () =>
{
Debug.WriteLine("熔断器进入半开状态，尝试恢复。");
}
);
/// 
Advanced Circuit Breaker代码演示,将上述的基础异常次数_circuitBreaker熔断器换成_advancedCircuitBreaker
private static readonly AsyncCircuitBreakerPolicy _advancedCircuitBreaker = Policy
.Handle<Exception>()
.AdvancedCircuitBreakerAsync(failureThreshold: 0.5, // 失败率阈值（50%）
samplingDuration: TimeSpan.FromSeconds(10), // 采样时间窗口（10秒）
minimumThroughput: 5, // 最小吞吐量（10秒内至少8个请求）
durationOfBreak: TimeSpan.FromSeconds(30), // 熔断持续时间
onBreak: (ex, breakDelay) =>
{
Debug.WriteLine($"熔断开启！持续 {breakDelay.TotalSeconds} 秒。");
},
onReset: () =>
{
Debug.WriteLine("熔断关闭，恢复正常请求。");
},
onHalfOpen: () =>
{
Debug.WriteLine("熔断器进入半开状态，尝试恢复。");
});
