AI组网初创公司竞逐替代英伟达NVLink

随着英伟达通过 NVLink Fusion 技术不断扩大影响力，各路组网设备厂商正争相把替代性互连方案和交换机推向市场。

在本周的 AI Infra 峰会上，Delos Data 和 Cornelis Networks 正式加入 scale-up（纵向扩展）组网的竞逐。

NVLink 这类纵向扩展互连网络（scale-up fabric），正是英伟达得以让 8 颗、72 颗乃至如今的 576 颗 GPU 表现得像一个巨型 AI 加速器的关键。为了追赶，AMD 等竞争对手已拥抱 Ultra Accelerator Link 等新兴协议。

如今，这些协议大多通过标准以太网交换机进行隧道传输。例如，AMD 采用博通基于 102.4 Tbps Tomahawk 6 的交换机，连接 MI455X 上的定制 I/O die。

专用的 UALink 交换机和物理互连产品仍然难觅踪影，但如果 Cornelis 和 Delos 有所行动，这种局面不会持续太久。两家公司从多个不同角度切入这一挑战，包括标准化、软件优化和物理硬件。

为“不用英伟达”的网络制定标准

在周一的 AI Infra 峰会上，以 HPC 为核心业务的网络厂商 Cornelis 推出了主动计算网络架构（Active Compute Fabric，ACF），旨在为纵向扩展和横向扩展组网建立一套开放架构，将可编程计算能力集成到网络之中。

这一标准标志着 Cornelis 正式进军纵向扩展组网领域。Cornelis 于 2020 年从英特尔分拆出来，其 Omni-Path 技术最初是为高性能计算应用设计的横向扩展互连方案，曾应用于 Trinity、Lynx 等超级计算机。

随着公司即将推出支持 800 Gbps 的 CN6000 系列交换机和网卡，Cornelis 不仅计划通过开放的 Ultra Ethernet 协议把技术带给更广泛的用户，还将目标瞄准了纵向扩展组网。

ACF 在 UALink 和 Ethernet for Scale-Up Networking（另一项纵向扩展组网协议）等技术的使命基础上更进一步，为跨各种硬件的网内计算能力设定基准线——而不仅仅限于 Cornelis 自家的 CN 系列产品。

英伟达 NVSwitch背后的关键技术之一是对 SHARP 的支持，它可以把网内集合通信等操作卸载到交换机 ASIC 上执行，从而释放 GPU 算力、削减通信开销。

集合加速并非新鲜事物，从博通到思科等主要组网厂商都已在某种程度上实现了它。作为一个开放架构，ACF 似乎是在设定一个“最低公分母”，让部署这些系统的客户明确知道自己能得到什么。

不过，它并不止步于此。Cornelis 还看到了加速多种其他功能的机会：一是 KV 缓存卸载，用于跨多个会话存储和检索模型状态；二是 MoE 专家分发，在推理和训练过程中减少专家混合模型（MoE）的重复传输和通信开销；三是面向 HPC 应用的 MPI（消息传递接口）卸载；四是网内检查点（checkpointing），用于训练及其他大型工作负载中的故障恢复。

“通信开销和同步会让昂贵的加速器得不到充分利用，”该公司解释道。这些网内加速器“让网络可以在数据流经系统时直接对数据进行处理”。

据 Cornelis 称，回收这些闲置算力的节省潜力相当可观。“在拥有 10 万颗 GPU 的系统中，Cornelis 基于公开数据的建模显示，大约一半的 GPU 时数都耗费在等待数据上，相当于每年约 16.8 亿美元的产能浪费和 500 GWh 的电力消耗。”

一如既往，对这些说法应持保留态度。不过，回收 GPU 空闲时间确实相当于可观的节省，而消除造成这些空闲的所有瓶颈，说来容易做来难。

面向 AI 时代的新型网卡

就在 Cornelis 主推其 ACF 架构的同时，由前 Barefoot Networks 和英特尔高管创立的初创公司 Delos Data，则打算通过一系列新的网络参考设计攻克物理层。

这些网络接口以 Nonstop AI 产品组合之名推向市场，覆盖了从共封装互连（co-packaged interconnect）到较为传统网卡的全谱系连接方案。

该公司解释说，其理念是为客户提供一套系统级蓝图，用于加速端点之间的数据传输，并使计算域得以扩展到单个机架之外。

Delos 的数据接口将提供三种形态。第一种是 I/O die，可提供超过 30 Tbps 的聚合带宽，约合每个方向 8 TB/s。这比英伟达和 AMD 最新加速器的互连带宽高出两倍以上——两者上限均为 3.6 TB/s。至于它最终能有多大竞争力，将取决于 Delos 的 I/O chiplet 何时真正部署。

这一时间线将在很大程度上取决于集成工作，因为 I/O die 需要直接集成进加速器封装内，需要高度协同设计。

关键的一点是，Delos 并不像英伟达借 NVLink Fusion I/O die 或 IP 那样把客户困在围墙花园里。至少在撰稿时，NVLink Fusion 仍要求客户在纵向扩展组网时购买 NVSwitch。

Delos 的 chiplet 与协议无关——无论你使用 ESUN、UALink 还是其他协议都无所谓。那些宁愿把精力和资金集中在加速器 AI 部分的芯片设计商——事实证明这适用于大多数超大规模云厂商——只需直接授权 Delos 的 chiplet 设计即可。

这种协议无关性也延伸到 Delos 的近封装光学（NPO）技术，它将集成 10 Tbps 以上的数据接口——用英伟达的话说即 2.5 TB/s 双向带宽——并搭配来自领先光学供应商的光引擎。

机架级系统（如英伟达的 NVL72）迄今为止主要依赖铜互连，原因在于功耗限制。随着系统从 72 GPU 的机架规模扩展到 576 颗乃至最终 1,152 颗 GPU 的行级集群，光学互连变得不可避免。

虽然利用现有技术可以把光学器件直接集成到加速器中，但单个光模块失效的影响范围（blast radius）相当大。NPO 提供了另一种选择：机架内使用铜互连，机架之间则通过用户可自行更换的 NPO 模块提供光学连接。

最后，Delos 还在开发一款 400 Gbps 以上的网卡，与其余数据接口产品一样与协议无关。这可以说是整个产品线中最不令人意外的产品——大型训练集群以及前端接入和存储网络仍然离不开横向扩展网络。

这些接口构建在 Delos 现有的计算参考设计（我们在 Computex 期间曾报道过）以及 Nonstop AI 软件平台之上。该平台旨在为这些交换网络或网状结构的配置与监控提供支持，以便在链路发生故障时实现流量的动态重路由。

其数据接口产品收集的遥测数据还能提供更深入的网络可见性，实现更快速的重路由和恢复。

在纵向扩展领域，投资人对更多竞争的渴望相当迫切。除了产品发布，Cornelis 还宣布获得约 2.05 亿美元融资，用于将其下一代纵向扩展和横向扩展组网产品推向市场。

与此同时，Delos Data 周二宣布其融资总额已超过 1 亿美元，投资方包括 Matrix、Playground 和 Socratic Partners 等风险投资机构。