MirrorNet: High-fidelity and Scalable Network Emulation for Software-defined WAN¶

TL; DR

腾讯把自家多平面 SD-WAN（TWAN）做成一个"孪生"模拟环境。它复制生产 TE 控制器，用厂商路由器 VM 镜像加载生产配置，再用"快照 + 事件"回放把拓扑、隧道、流量矩阵和故障事件按依赖顺序注入进去，从而在秒级粒度上重建任意历史时刻的网络状态。

这个环境既能用于事后排障（backward），也能用于变更前验证（forward）。

1. 背景：TWAN 与 TE 控制环¶

TWAN 的结构：连接数百个 DC 站点。物理拓扑被切成多个并行的平面（plane），跨 DC 流量通过流级 ECMP 分到各平面。每个平面有独立的软件集中控制器，每台路由器上运行 agent。

alt text

TE 控制环（每 5 分钟或按需触发）：

案例	现象	暴露的问题
① 无法追溯的故障	AB 链路从 1000G 降到 500G，TE 判定"备用路径带宽不足"，持续丢包 100 Gbps。事后在 MirrorNet 中复现才定位到 TE 算法 bug：背包问题的一维数组优化写错，导致数值覆盖	缺乏运行时日志，也无法复现当时的故障和流量条件
② 参数调优慢	O(10) 个 TE 参数（最大链路利用率、负载不均阈值等）。阈值太低会导致频繁重调度，每次约 100 ms 丢包	在生产上迭代试参要花数月，且有风险
③ 单平面金丝雀测试不可靠	逐节点撤路由来隔离平面，前三个平面都正常，plane4 丢包 0.2%。原因是节点 C 配置 bug，没走 MPLS-TE 而是走 BGP	各平面的流量差异可达数十倍（大象流只落在一个平面），配置也会漂移
④ 容量评估不准	2200G 的捆绑链路高峰期掉到 400G，丢包 3%，持续 1.5 小时	现有工具（如 RSS）没有集成真实 TE 算法和配置

现有工具的不足：

三个需求：秒级高保真、可扩展（数千节点和链路）、资源高效（支持按需拉起）。

组成：

alt text

Orchestrator：
- 包括数据库（快照 + 事件）、Net Manager（管理模拟网络生命周期）、Platform Translator（负责对齐生产与模拟网络）。
若干 Emulation Network：
- 每个相当于生产网络的一个平面，包含从生产复制的 TE 控制器，以及运行厂商路由器镜像的 VM（加载生产配置）。

工作流程：

数据量问题：单个平面每秒约 16 MB，每天约 1300 GB，每月约 40 TB

观察：拓扑数据在时间上高度冗余（Table 1）

因此只存变化量即可：链路约为全量的 3/86400 ≈ 0.003%，隧道约为 0.001%

做法：

核心观点：保真的关键在于数据注入顺序，而不是排队时延这类不会触发 TE 的因素。

alt text

依赖树（Fig. 8）：拓扑 → 节点/链路配置（underlay）→ 隧道路径（overlay）→ 流量注入（分钟级、隧道粒度）→ 事件注入。不同任务选用不同的子序列：

隧道映射（最棘手的是第 3 步）：

选型：

被放弃的方案：

快速部署：原生 GNS3 是阻塞式的（创建→启动→注册→写工程文件，逐个进行）。MirrorNet 做了三点改动：

并发模拟 + 流量共享：

实现：