Astera 发布可以替代NVSwitch的交换机

Astera Labs 新发布了一款用于构建机架级 AI 系统的 Nvidia NVSwitch 替代方案，声称其几乎可以兼容任何 AI 加速器。

这款代号为 Scorpio X 的 AI 结构交换机，在单个 ASIC 芯片中集成了 320 条 PCIe 6.0 通道，拥有 5.12 TB/s 的双向带宽。

历史上，PCIe 交换机一直被用于各种应用场景，包括横向扩展的计算架构。单靠 CPU 无法为所有所需的 GPU、网卡（NIC）和存储提供足够数量或足够速度的通道。因此，与其将所有设备都挂在 CPU 之下，不如使用 PCIe 交换机（通常集成在网卡中）来将所有设备连接在一起。

Astera 认为，只要交换机足够强大，PCIe 完全可以成为像 NVLink 这类互联技术的可行替代方案，用于构建纵向扩展（scale-up）的计算架构。这种架构能让数十个甚至更多的 GPU 表现得像一个单一的大型 GPU，而无需重新设计它们的加速器。

然而，Astera 不仅仅是制造了一个更大的 PCIe 交换机。Scorpio 配备了与 Nvidia NVSwitch 相同的许多“网内计算”功能，这些功能有助于加速集合通信。

这些通信对于生成式 AI 推理尤为重要。随着混合专家（MoE）架构的兴起，从网络角度来看，大语言模型变得相当“健谈”（数据交换频繁）。

MoE 模型由多个称为“专家”的子模型组成。对于生成的每个 token，可能会使用不同的专家组合，而这些专家可能运行在不同的 GPU 上。

通过将集合通信转移到交换机上处理，GPU 花在等待网络同步上的时间变少了，从而有更多时间用于生成 token。

Astera 甚至开发了一种针对 MoE 推理优化的多播操作，他们称之为 Hypercast。

Astera 产品管理助理副总裁 Ahmad Danesh 告诉 El Reg：“标准多播的局限性之一在于实际可支持的组数量，以及混合专家模型需要动态即时更改这些组的特性。”

Scorpio 在纵向扩展生态系统中的定位

虽然将 PCIe 用作芯片间互联有明显的优势，但 Scorpio 并不能完全取代 Nvidia 的 NVSwitch 芯片。今年 1 月在 CES 上发布的 NVSwitch 6 提供了近 3 倍的带宽，达到了 14.4 TB/s。

不过，Astera 并不需要与 NVSwitch 直接竞争。事实上，Astera 在去年春天就宣布了计划，将扩展对 NVLink Fusion（Nvidia 试图将其高速互联技术向更广泛的生态系统开放的尝试）的支持。

相反，Scorpio 的定位更像是一个与供应商无关的替代方案。像 NVLink Fusion 或新兴的 UALink 协议等技术虽然正在获得关注，但芯片需要围绕它们进行专门设计。

PCIe 几乎可以兼容任何设备，因为它已经被用于加速器的数据输入和输出。例如，如果你想将 32 张或更多的 Nvidia RTX Pro 6000 服务器显卡拼接在一起，你就需要一个 PCIe 交换机，因为这些 GPU 根本不支持 NVLink。

PCIe 也使得在分离式推理架构中混合搭配芯片变得更加容易，就像我们在 Nvidia 与 Groq、AWS 与 Cerebras，或 Intel 与 SambaNova 的合作中看到的那样。

这些架构涉及使用一种加速器进行计算密集型的预填充操作，而使用另一种加速器进行带宽密集型的解码操作。为了实现这一点，这些芯片必须相互连接。许多 AI 芯片制造商正通过以太网来实现这一点，但 PCIe 的连接会更加直接。

除了 Scorpio X 系列芯片外，Astera 还在扩展其 Scorpio P 系列交换机，提供从 32 到 320 条 PCIe 连接通道的多种型号。

所有这些交换机都可以与其 COSMOS 管理软件套件配合使用，这是一个硬件监控平台，旨在帮助追踪和解决整个网络结构中的问题。

Astera 更新后的 Scorpio 交换机目前正在送样，预计将于 2026 年下半年开始量产。