Evaluating IRN’s Transport Logic¶
We now confront the central question of this paper: Does RDMA require a lossless network? If the answer is yes, then we must address the many difficulties of PFC. If the answer is no, then we can greatly simplify network management by letting go of PFC. To answer this question, we evaluate the network-wide performance of IRN’s transport logic via extensive simulations. Our results show that IRN performs better than RoCE, without requiring PFC. We test this across a wide variety of experimental scenarios and across different performance metrics. We end this section with a simulation-based comparison of IRN with Resilient RoCE [34] and iWARP [33].
结论:
- IRN performs better than RoCE.
- IRN does not require PFC.
- RoCE requires PFC.
- Effect of Explicit Congestion Control.
Incast Traffic是什么意思? 实验设置形如?
Incast 这个概念, 在网络和分布式系统领域, 尤其是在RDMA和数据中心网络性能评测中至关重要
简单来说,Incast 指的是 在一个极短的时间窗口内,多个发送方节点同时向同一个接收方节点发送数据的“多对一”通信模式
Incast 为什么是衡量网络性能的“试金石”
因为 Incast 场景会极限地压力测试网络的拥塞处理能力,它会引发一系列连锁反应:
- 缓冲区溢出 (Buffer Overflow):交换机端口的缓冲区会被瞬间打满
- 丢包 (Packet Loss):在传统的以太网中,缓冲区满了之后,新来的数据包就只能被丢弃。这会导致TCP协议进行大量的超时和重传,性能急剧下降
- 队头阻塞 (Head-of-Line Blocking):在像 RoCE 这样使用 PFC 的无损网络中,交换机不会丢包,而是会向上游发送“暂停帧 (Pause Frame)”,让上游的设备“等一等”。这虽然避免了丢包,但如果队列里有一些发往其他非拥塞端口的“无辜”数据包,它们也会被卡住,这就是队头阻塞
- 延迟飙升 (Latency Spike):无论哪种情况,最终都会导致任务的完成时间变得极长且不可预测
Burst Flow特征
Burst Flow,通常也称为 “流量突发” 或 “微突发 (Microburst)”,指的是在极短的时间内(通常是毫秒甚至微秒级别),网络中某个数据流的速率瞬间飙升到非常高的水平,远超其平均速率的现象
- Incast 是一种必然会产生 Burst Flow 的场景。当多个发送方同时向一个接收方发送数据时,在接收方所连接的那个交换机端口上,必然会形成一股极其猛烈的突发流量
- 但 Burst Flow 不一定是由 Incast 造成的