盛科交换机配置基于DSCP的RoCEv2-无损网络

简介

当前HPC高性能计算、分布式存储、AI人工智能等应用采用RoCEv2网络替代传统的TCP/IP网络,来降低CPU的处理和延迟,提升应用的性能。然而,这些分布式高性能应用的特点是“多打一”的Incast流量模型,对于以太交换机,Incast流量易造成交换机内部队列缓存的瞬时突发拥塞甚至丢包,将会带来应用时延的增加和吞吐的下降,从而损害分布式应用的性能。因此,针对RoCEv2流量实现的智能流量分析功能,将对设备经过的RoCEv2流量通过ACL匹配特征报文,上送至TAP后分析其丢包、时延、吞吐和路径信息,实时监控RoCEv2网络状态。

基本概念

RDMA(Remote Direct Memory Access),远程直接内存访问功能,用于InfiniBand网络,是一种直接内存访问技术,它将数据直接从一台计算机的内存传输到另一台计算机,数据从一个系统快速移动到远程系统存储器中,无需双方操作系统的介入,不需要经过处理器耗时的处理,最终达到高带宽、低延迟和低资源利用率的效果。

RoCE(RDMA over Converged Ethernet),允许应用通过以太网实现远程内存访问的网络协议,是将RDMA技术运用到以太网上的协议。目前RoCE有两个协议版本,RoCEv1和RoCEv2。

业务需求

VMware vSAN的 RoCEv2 网络照要求划分到优先级 3 和 6,开启 PFC 和 ECN 功能,实现无损网络。

交换机使用盛科E680系列交换机,版本为 v7.4.8。

策略配置

ECN 配置策略

#配置优先级 3 及优先级 6 的 ECN 策略
class-map type traffic-class ecn-pri-3
 match traffic-class 3
 exit
class-map type traffic-class ecn-pri-6
 match traffic-class 6
 exit
policy-map type traffic-class ecn-pmap
 class type traffic-class ecn-pri-3
 random-detect maximum-threshold 8192 minimum-threshold 64
 exit
class type traffic-class ecn-pri-6
 random-detect maximum-threshold 8192 minimum-threshold 64
 end
#将 ECN 策略应用至对应的物理接口
interface eth-0-1
 service-policy type traffic-class ecn-pmap

PFC 配置策略

#将 DSCP=26(af31)映射到优先级 3,将 DSCP=48(CS6)映射到优先级 6
class-map type qos pfc-pri-3
 match dscp af31
 exit
class-map type qos pfc-pri-6
 match dscp cs6
 exit
policy-map type qos pfc-pmap
 class type qos pfc-pri-3
 set traffic-class 3
 exit
class type qos pfc-pri-6
 set traffic-class 6
 end
#将映射策略应用到对应的物理接口,并开启对应物理接口优先级 3 和优先级 6 的 PFC 功能
interface eth-0-1
 priority-flow-control mode on
 priority-flow-control enable priority 3 6
 service-policy type qos input pfc-pmap

物理接口最终配置

interface eth-0-4
 switchport mode trunk
 switchport trunk allowed vlan add 222,223
 priority-flow-control mode on
 priority-flow-control enable priority 3 6
 service-policy type qos input pfc-pmap
 service-policy type traffic-class ecn-pmap


# 注意交换机与其他交换机互联接口也需要配置。如果需要相互发送RDMA的话。

汇聚口配置

# Agg口配置较为特殊,下面为示例

interface eth-0-27
 switchport mode trunk
 switchport trunk allowed vlan add 222,223
 switchport trunk allowed vlan remove 1
 priority-flow-control mode on
 priority-flow-control enable priority 3 6
 service-policy type traffic-class ecn-pmap
 channel-group 1 mode active
!
interface eth-0-28
 switchport mode trunk
 switchport trunk allowed vlan add 222,223
 switchport trunk allowed vlan remove 1
 priority-flow-control mode on
 priority-flow-control enable priority 3 6
 service-policy type traffic-class ecn-pmap
 channel-group 1 mode active
!
interface agg1
 switchport mode trunk
 switchport trunk allowed vlan add 222,223
 switchport trunk allowed vlan remove 1
 service-policy type qos input pfc-pmap

参考

参考盛科RDMA2.0 文档
参考华为文档:https://support.huawei.com/enterprise/zh/doc/EDOC1100198802/5d4312fb

博客

https://songxwn.com/switch-ROCEv2-DSCP/

盛科交换机配置基于DSCP的RoCEv2-无损网络_第1张图片

你可能感兴趣的:(网络)