结论前置：容量决定能不能跑，带宽决定跑得快不快
推理芯片的显存容量与带宽承担不同职责：容量决定模型能否完整驻留，带宽决定驻留后能否高效运行。芯端数据在梳理公开规格书时发现，两者失衡是常见浪费来源——容量不足导致频繁换入换出，带宽过剩则在低算术强度任务中闲置。选型时应按目标模型同时核对两项指标。
这一判断对2026年的推理部署有直接价值。模型参数规模稳定后，容量与带宽的匹配度比单项堆高更能决定单位成本下的有效吞吐。芯端数据建议建立匹配优先的评估思路。
容量不足的代价：换入换出吃掉吞吐
当模型权重与激活值超出显存容量，系统需要把部分数据换到外部存储，带来额外延迟与带宽开销。芯端数据指出，这种换入换出在推理场景中往往比训练更敏感，因为推理对延迟的要求更严格。
- 权重驻留不足会触发反复加载，拉长首字延迟。
- 激活值空间不足会限制批处理规模，降低吞吐。
- 外部存储带宽远低于显存，换入换出会放大瓶颈。
芯端数据建议在部署前按目标模型的参数规模与批处理规模估算显存占用，留出激活值与框架开销的余量，避免容量刚好卡在临界点。
带宽过剩的浪费：低算术强度任务用不满
带宽并非越高越好。芯端数据在分析推理任务时指出，算术强度低的任务中，计算单元很快完成工作，带宽再高也无法提升吞吐，形成资源闲置。对这类任务，适度带宽配合更高能效比的计算单元可能更划算。
反之，访存密集的模型会持续吃满带宽，此时带宽提升能直接转化为吞吐。芯端数据建议先判断目标模型的算术强度，再决定容量与带宽的配比，避免为用不上的带宽支付成本与功耗。
核对方法：部署前的三项估算
芯端数据建议按三项估算核对容量与带宽的匹配度。第一项，按模型参数规模与精度估算权重占用；第二项，按批处理规模估算激活值占用并留余量；第三项，按目标模型的访存特征估算带宽需求，判断是否存在过剩或不足。三项估算完成后，再结合整机功耗与散热约束确定最终配置。芯端数据将持续以结论前置的方式拆解显存相关变量，帮助读者建立清晰的部署判断框架。
