论文解析——一种多核处理器直连接口QoS的设计与验证

作者

罗莉，周宏伟，周理，潘国腾，周海亮（@ 国防科技大学）
刘彬 （@ 武警贵州省总队）

摘要

多核处理器直接互连构建多路并行系统，一直是提高高性能计算机并行性的主要方式。主要研究多核处理器直连接口的QoS设计，通过直连接口完成跨芯片的cache一致性报文有效、可靠传输，实现共享主存的SMP系统。详细阐述了直连接口各个协议层的QoS设计的关键技术，基于UVM方法学构建了可重用验证平台，模拟验证了QoS设计的正确性，移植到FPGA原型验证平台，顺利通过了测试。深入研究和实现处理器芯片直连技术，是提升高性能多路服务器的主流方向，具有良好的应用和研究前景。

正文

引言

多核处理器支持直连接口实现共享主存的对称多处理器SMP（Symmetric MultiProcessing）系统已经成为主流。
处理器直流接口提供的QoS（Quality of Service）保障，能够实现可靠、试试、完整和顺序到达的数据传输。

市场上多处理器互连案例

1. Intel的高速、点到点的处理器互连总线QPI （Quick Path Interconnect）
2. IBM 在P系列处理器中采用处理器智联通道互连，最大支持32路处理器
3. AMD 的超传输HT（HyperTransport）总线，高速、双向、低延时、点对点的直连接口
4. NVIDIA的NVlink支持多个GPU互连

本文的QoS设计

QoS指网络在传输数据流时要满足一系列服务请求，有如下设计要求：

1. 提高数据的吞吐率
2. 提供保障服务，避免死锁和拥塞，保证数据的完整性和到达的顺序性

主要设计包括：

1. 信用机制设计
2. 虚通道技术、优先级的仲裁调度策略：避免死锁
3. 滑动窗口重传协议：维护了数据传输的顺序性和正确性

四种协议层次及相关的QoS设计

接口的协议分为应用层、传输层、数据链路层和物理层。

应用层划分事务类型并传输

与NoC部件接口，传输与NoC相接的报文，包括请求、响应、监听和应答。

传输层报文的虚通道传输和仲裁调度避免死锁

接收应用层的报文，并对这些报文仲裁，转换成链路层的数据序列，发送给链路层；接收链路层的数据并转换为应用层的报文格式也会发送给应用层。传输层的设计包括报文缓冲、四选一仲裁、数据序列格式转换和信用控制等部件。

应用层传递下来的各种事务会不可避免地排队处理，为避免死锁，传输层和应用层间采用虚通道方式。定义四个虚通道（REQ\RSP\SNP\ACK），若一个虚通道被堵塞，则其他的虚通道还可以继续通向输出端口，减少了由于事务相互依赖导致的死锁。

由于分时共享链路层传输，本文设计了固定优先级的仲裁调度，根据优先级调度哪个通道占用链路层传输。

仲裁调度的饥饿现象

当出现连续不断、稳定的监听响响应传输时，可能会导致监听请求或者请求通道得不到仲裁调度，出现“饥饿”现象。
本设计通过设置监听通道和请求通道的等待计时器，若等待时间大于门限时间，二者请求将被调整为最高。

链路层采用滑动窗口重传协议实现无差别的微包传输

接收传输层数据序列，转换成微包，并根据链路状态发送给物理层；设计结构包括：微包打/解包、微包管理、链路管理、重传缓冲。

链路层通信遇到数据传输或接受错误是，需要通过滑动窗口重传协议实现重传。在发送和接收端维护两个窗口，维护重传缓冲区的读写控制和发送/接受的序列号，任何序列号不等于窗口序列号的报文都会被丢弃。

微包的类型和管理

链路层传输的信息最小单位就是微包，微包分为报文微包和管理微包

物理层通过频率偏斜校准机制将频率补偿和延迟修正二合一

将微包转换成串行的码流，通过serdes传输

QoS信用机制设计

信用机制设计

基于信用的流控设计能精确判断流量，可避免传输数据拥塞

在协议层次的输入端口和输出端口设置了报文缓冲区，如图左侧是Sender，右侧是Receiver。
在数据的源端维护一个信用计数器，初始值设置为接收方缓冲区深度，当数据源发出一个微包信号Send，信用减1；当缓冲区中放出1个微包时，释放1个信用，当信用释放信号Release到达数据源端时，源端信用计数器加1。
即，发送方通过信用计数器（Credit Counter）监测接收方的微包存储状况从而判断是否继续向接收方发送packet。

信用机制作用于四个层次间的三类接口