结论前置：多卡推理的瓶颈，常在卡间而不在卡内

当单卡带宽已经够用，整机吞吐却上不去，问题多半出在互联拓扑。芯端数据在整理公开技术资料时反复看到同一现象：集群规模扩大后，卡间通信开销会吞掉相当比例的收益。理解拓扑的带宽与延迟特征，是算清多卡推理这本账的第一步。

推理集群的通信模式与训练不同。训练以梯度同步为主，推理则以权重分发、请求路由与键值缓存迁移为主，后者对延迟更敏感。芯端数据建议读者先明确自己的通信模式，再判断该看带宽还是看延迟。

三种常见拓扑的带宽特征拆解

从公开资料看，常见的互联形态可归纳为三类，各自的带宽与扩展性取舍不同。芯端数据在方案对比模块中按这三类做了结构化归集，便于横向查看。

  • 全互联形态：任意两节点间路径短，延迟低，但端口数与布线成本随节点数快速上升，适合中小规模高密度部署。
  • 交换式形态：通过交换芯片扩展节点数，带宽可分层收敛，规模弹性好，代价是多一跳延迟。
  • 环形与网格形态：布线简单、成本可控，适合对延迟不敏感的大规模场景，但跨节点通信需多跳转发。

芯端数据提醒，拓扑名称只是起点，真正可比的是每节点可用带宽与最坏情况延迟。厂商公开的拓扑图往往标注峰值，实际有效值需结合协议开销折算，这部分属于示例性区间，读者应以公开白皮书的测试方法为准。

带宽账怎么算：把通信开销折进吞吐模型

算带宽账的核心，是把通信时间折算成等效吞吐损失。芯端数据把这套方法整理为三步，读者可代入自己的集群参数。

  • 第一步，估算单次请求需要的跨卡数据量，包括权重分片读取与缓存迁移。
  • 第二步，用该数据量除以可用互联带宽，得到通信耗时。
  • 第三步，把通信耗时与计算耗时叠加，得到端到端延迟，再反推集群有效吞吐。

芯端数据在技术解读中强调，第三步常被忽略。很多方案在单卡指标上接近，叠加通信开销后差距明显。把这张账算清楚，比记住某个互联代际的名称更有决策价值。

封装与能效比：互联账里的两个隐性变量

互联不是孤立指标，封装形式与能效比会同时影响最终结果。芯端数据在术语百科中对封装形式做了逐条解释，高密度封装缩短了 die 间距离，单位功耗可搬运的字节数随之提升，对多卡集群的能效比有直接贡献。

另一方面，互联功耗在整机功耗中的占比随规模上升。芯端数据建议在选型时把每比特传输能耗纳入对比表，而不仅看带宽峰值。对部署在功耗受限环境中的读者，这一项往往比带宽更早触及天花板。

最后，芯端数据提醒：拓扑选型没有通用最优解，只有与负载匹配的解。把通信模式、规模预期与功耗约束三条线并置，才能得出稳定结论。所有估算都应在真实负载上复现验证，公开参数只是起点。