简单说说算力网络：什么是InfiniBand

大家好，欢迎来到IT知识分享网。

Infiniband 发展历史

近年来，随着高性能计算（HPC）和人工智能（AI）应用程序的日益复杂化，亟需高速、稳定的算力网络。在 AI 集群中进行分布式训练时，如何实现数据在服务器之间的高速传输成为关键。众所周知，数据通信主要包括以下几种场景：服务器内部通信、AI集群内服务器之间通信，以及跨集群的广域通信。服务器内部通信：包括GPU与CPU之间，当前主要采用PCIe和NVLink。 AI集群内服务器之间通信主要采用RDMA (Remote Direct Memory Access) 协议，当然也可以采用传统的IP 协议。RDMA无需调用CPU，就可以从一个主机或服务器的内存直接访问另一主机或服务器的内存，如下图所示。

对比传统的以太网传输机制，RDMA无需操作系统介入，允许接收端直接从发送端的内存读取数据，减轻了CPU的压力。RDMA主要包括InfiniBand 、iWARP 、RoCE三种网络技术。Infiniband是一种专为RDMA设计的网络，从硬件级别保证可靠传输 ，而RoCE 和 iWARP都是基于以太网的RDMA技术。不差钱的，更多会选择InfiniBand；追求性价比的，则会更倾向于RoCE。

InfiniBand 的前世今生

1、InfiniBand 发展历程

上世纪90年代早期，为了支持越来越多的外部设备，英特尔公司率先在标准PC架构中引入PCI总线设计。随着CPU、内存、硬盘等部件都在快速升级，PCI总线因升级速度缓慢成为整个系统的瓶颈。为了解决这个问题，几大IT巨头成立IBTA（InfiniBand Trade Association），研究新的替代技术。可以说，InfiniBand诞生目的，就是为了取代PCI总线。2000年，InfiniBand架构规范的1.0版本正式发布。2003年开始，InfiniBand重点转向了计算机集群互联。2005年，InfiniBand又找到了一个新场景：存储设备连接。2012年之后，随着高性能计算（HPC）需求的不断增长，InfiniBand技术继续高歌猛进，市场份额不断提升。2015年，InfiniBand技术在TOP500榜单中的占比首次超过了50%。这标志着InfiniBand技术首次实现了对以太网技术的逆袭，成为超级计算机最首选的集群互联技术。说起InfiniBand的发展历史，就不得不提到大名鼎鼎的Mellanox。1999年5月，几名英特尔离职员工在以色列创立了Mellanox公司，在InfiniBand逐渐崛起的过程中，Mellanox也在不断壮大，逐渐成为了InfiniBand市场的领导者。当前只有Mellanox和QLogic（2012年被Intel收购）两家供应InfiniBand。

2019年，英伟达豪掷69亿美元收购了Mellanox，老黄的说法是：这是两家全球领先高性能计算公司的结合，NVIDIA专注于加速计算，而Mellanox专注于互联和存储。现在看来，英伟达是非常有远见的：大模型训练高度依赖高性能计算集群，而InfiniBand网络则是高性能计算集群的最佳搭档。

InfiniBand的网络带宽不断升级，下图展示了 InfiniBand 从SDR、DDR、QDR、FDR、EDR发展到HDR、NDR的网络带宽，其速度是基于 4x 链路速度。

2、InfiniBand 组网

要做到任何两个计算节点的网卡之间无损通信，需要使用胖树网络架构，下面是32台H100服务器（每台配4张400G的IB卡）的典型IB网络拓扑图。

上层是核心IB交换机，主要用于流量转发（级联线为示意，未画全）；下层是4台IB交换机（每台64口），其中32口用于接入H100服务器。

3、InfiniBand 商用产品

Mellanox 在全球 InfiniBand 市场基本上是一种无敌的存在。2021年推出第七代 NVIDIA InfiniBand 架构：NVIDIA Quantum-2平台，包括NVIDIA Quantum-2 系列交换机、NVIDIA ConnectX-7 InfiniBand 适配器、BlueField-3 InfiniBand DPU以及电缆。

基于 NVIDIA Quantum-2 的 QM9700 和 QM9790 交换机系统采用 1U 标准机箱设计， 突破性地提供 64 个 NDR 400Gb/s InfiniBand 端口（或128个200Gb/s端口），提供总计 51.2Tb/s的双向吞吐量。每台价格超过20W，还不含光模块。

InfiniBand 网络中，针对不同的连接场景，需使用专用的InfiniBand线缆，包括：DAC高速铜缆、AOC有源线缆以及光模块。线缆价格很贵，从几千元到上万元都有。

DAC高速线缆，也叫直连铜缆（Direct Attach Copper cable）。DAC高速线缆的功耗比较低，但传输距离通常低于10米。价格方面相对便宜一些。

AOC有源光缆（Active Optial Cable），功耗相对比较大些，但传输的距离可达到100米，每根价格过W。