多卡系统跑得快不快，常常不只取决于单张卡的算力。数据要在卡之间传递、同步或汇总时，连接路径、可用带宽和等待时间都会影响效率。做高速卡间互联技术对比，先确认卡是在同一台机器内，还是分布于多台机器，再看任务需要传多少数据、多久交换一次。
先看拓扑：数据要经过几跳
拓扑描述设备之间如何连接。常见结构包括环形、全互连和交换网络：环形布线相对简单，但数据可能经过多段链路；全互连让每张卡都有较直接的连接，通信路径短，不过连接数量和成本会随卡数增加；交换网络则通过交换芯片转发，扩展更灵活，但实际表现受交换设备和链路配置影响。
阅读服务器或加速器说明时，别只数接口。要弄清设备是否能直接互通、是否共享交换芯片，以及多张卡同时通信时有没有链路争用。高速卡间互联技术对比的第一步，是把拓扑图画出来：标注卡、交换芯片和上行链路，再标出一次任务中的数据流向。
带宽要看有效值，也要看方向
产品资料中的带宽可能按单向、双向或多条链路合计来写，不能直接拿不同口径的数字比较。理论带宽也不等于应用吞吐量；协议处理、数据包大小、链路争用和软件实现都会带来差距。跨机箱的以太网链路常见有100、200或400Gb/s等级，实际可用吞吐量取决于网卡、交换机、端口配置和协议开销；这类数值不能直接等同于卡内专用互联的表现。
区分几种常见技术
- PCIe：用途广、生态成熟，常承担设备接入和数据传输。多卡通信能力受总线通道、交换芯片及平台布局限制。
- NVLink、Xe Link：面向特定加速器平台的高速互联方案，需核对兼容设备、链路数量及软件支持；不同代际的带宽不可一概而论。
- CXL：建立在 PCIe 物理层基础上的互连标准，扩展内存和设备协同是其重要用途；不能仅凭 CXL 名称就认定它等同于专用卡间计算互联。
- RoCE、InfiniBand：常用于服务器之间传输数据。RoCE通过以太网承载远程直接内存访问，InfiniBand则使用独立网络体系；它们主要解决跨节点通信，不应与机内链路混为一类。
通信开销由任务决定
大块数据一次传完，通常更容易发挥链路带宽；频繁传送小块数据时，启动延迟和同步等待可能更突出。训练中的集合通信（如多卡梯度归约）会让多张卡反复交换数据，拓扑不匹配或链路拥塞都可能拖慢整体步骤。相反，若任务能把计算和数据搬运重叠，互联瓶颈的影响可能减轻。
因此，高速卡间互联技术对比不能只按峰值带宽排位。应同时问：任务是不是频繁跨卡同步？数据能否留在本地？多卡同时传输会不会共享同一条上行链路？还要确认驱动、通信库和应用是否支持目标互联，否则硬件链路存在，也未必能被程序有效利用。
按这个顺序评估
- 列出任务的数据流：记录每步传输的数据量、方向和同步频率。
- 查看机器拓扑图与设备规格，确认卡间链路、交换芯片、单向带宽口径及并发限制。
- 筛掉不兼容方案：核对卡型、主板、驱动、通信库和软件支持。
- 在相同任务、卡数和软件设置下测试单卡与多卡耗时，并观察链路利用率；测试值只代表该配置，不可直接外推到其他平台。
结论是，先按应用的数据路径选拓扑，再按并发传输需求核对有效带宽，最后衡量同步与软件开销。把这三项放在一起，才是有用的高速卡间互联技术对比；单看接口名称或峰值数字，往往不足以判断多卡系统是否合适。
常见问题
标称带宽越高，实际任务一定越快吗？
不一定。小数据频繁同步、链路争用或软件未充分利用互联，都可能让实际收益有限。
RoCE 和 InfiniBand 是卡间互联吗？
它们通常用于节点间网络通信。分析多卡系统时，应先区分同机卡间链路与跨服务器链路。
如何快速判断瓶颈在互联还是算力？
对比单卡和多卡耗时，并观察通信时间、链路利用率及同步等待；若增加卡数后计算时间下降不多而通信占比上升，互联或通信调度值得优先排查。
