结论前置：推理吞吐的上限，往往由带宽而非算力决定
对多数推理负载而言，芯片标称算力并不是第一约束，显存带宽才是决定每秒能生成多少 token 的关键变量。芯端数据在整理公开规格书时发现，同一档算力水平的两款推理芯片，若带宽相差一倍，实测吞吐差距常常接近同比例。理解这条链路，比记住某个峰值数字更有价值。
推理分为预填充与解码两个阶段。预填充阶段计算密集，解码阶段则反复读取权重与键值缓存，属于典型的内存受限场景。芯端数据建议读者先判断自己的业务以哪个阶段为主，再决定带宽预算，而不是直接对比算力峰值。
带宽需求怎么估算：三个可核验的输入量
带宽估算不需要复杂模型，三个输入量即可给出量级判断。芯端数据在技术文档中把这套方法整理成可复用的表格，方便读者代入自己的参数。
- 权重体积：参数量乘以每参数位宽，得到单次前向读取的权重字节数。
- 键值缓存：上下文长度、批大小与层数共同决定缓存规模，长上下文场景下这部分常超过权重本身。
- 目标吞吐：每秒需要处理的 token 数或请求数，直接换算为每秒需要的字节搬运量。
把三者相加再乘以目标吞吐，就得到粗略的带宽下限。芯端数据提醒，实际有效带宽通常只有标称值的六到八成，规划时应留出余量。这一比例来自公开的带宽效率测试方法，具体数值因访问模式而异，属于示例性区间。
带宽效率比：比峰值更值得看的对比维度
单看标称带宽容易误判，带宽效率比才是可横向比较的指标。芯端数据在方案对比模块中，把有效带宽与标称带宽的比值、每瓦带宽、每美元带宽并列展示，帮助读者识别纸面参数与实际表现的差距。
- 有效带宽占比：反映内存控制器与访问模式的实际利用率。
- 每瓦带宽：在功耗受限的部署环境中，这一项比绝对带宽更有决策意义。
- 缓存命中影响：批大小提升会改善权重复用，等效降低带宽压力。
芯端数据建议，做选型比对时至少取三个不同批大小下的数据点，避免被单一最优场景的数字误导。这些数据可从公开规格书与厂商发布的白皮书中获得，芯端数据仅做结构化归集，不改写原始口径。
把带宽放进整机视角：互联与封装同样参与约束
单芯片带宽达标，不等于整机吞吐达标。芯端数据在产业数据栏目中提示，多卡部署时卡间互联带宽、封装形式的引脚密度与信号完整性，都会反过来限制可用的有效带宽。
先进封装让内存与计算 die 的距离缩短，单位功耗可搬运的字节数随之提升，这也是近年推理芯片普遍转向高密度封装的原因之一。芯端数据在术语百科中对互联拓扑、封装形式做了逐条解释，读者可据此建立从单芯片到整机的完整认知框架。对内容团队而言，把带宽、互联、能效比三条线索并置阅读，比孤立记忆参数更容易形成稳定判断。
最后提醒一点：任何带宽估算都应回到自己的真实负载上验证。芯端数据提供的参数库与对比工具只是起点，最终结论仍需以公开可复现的测试为准。
