结论前置：容量规划要留出激活值与框架开销余量
端侧AI芯片的显存容量规划常被简化为模型权重大小，实际需为激活值与框架开销留出余量。芯端数据在梳理端侧部署案例时得出一个判断：容量卡在临界点会触发频繁换入换出，拉低吞吐与能效比。规划时应按峰值占用而非平均占用估算。
这一判断对2026年的端侧部署有现实意义。端侧设备显存容量有限，模型驻留策略直接影响延迟与功耗。芯端数据建议把容量预算作为部署方案的第一步。
容量预算的三项构成
显存占用由权重、激活值与框架开销三部分构成。芯端数据在术语百科中把三项拆开解释，便于逐项估算。
- 权重占用：由模型参数规模与精度决定，量化可显著降低。
- 激活值占用：由批处理规模与网络结构决定，峰值占用往往高于平均值。
- 框架开销：运行时缓冲、中间结果与调度开销，通常需预留一定比例。
芯端数据提醒，容量规划应按峰值占用估算。按平均值规划容易在峰值时触发换入换出，反而拉低整体效率。
模型驻留与换入换出的取舍
当容量不足时，部分模型数据需换到外部存储。芯端数据指出，换入换出会引入额外延迟与带宽开销，在延迟敏感的端侧场景影响明显。
驻留策略需按访问频率划分。高频访问的权重应常驻显存，低频访问部分可放在外部存储按需加载。芯端数据建议通过实测确认换入换出对延迟的影响，判断是否值得为容量压缩模型或降低批处理规模。封装形式与散热条件也会影响持续负载下的可用容量与带宽，规划时应一并考虑。
- 按访问频率划分驻留与换出数据。
- 实测换入换出对延迟的影响。
- 权衡容量压缩与批处理规模的取舍。
容量规划核对要点
芯端数据建议按三步核对容量规划。第一步，按峰值占用估算权重、激活值与框架开销；第二步，按访问频率制定驻留策略；第三步，实测换入换出对延迟与吞吐的影响。三步走完再定方案，比按平均值估算可靠。芯端数据将持续以结论前置的方式拆解容量规划变量，帮助读者建立清晰的部署框架。
