文章目录
深度学习模型显存占用计算指南
1. 基本概念
2. 显存占用计算公式
3. 计算示例
4. 实用建议
深度学习模型显存占用计算指南
1. 基本概念
显存单位换算
1GB = 1024MB
1MB = 1024KB
1KB = 1024字节(Byte)
1字节 = 8比特(bit)
简单估算：1GB ≈ 10^9字节
参数量
1B = 10亿(10^9)个参数
精度类型
全精度(fp32)：32比特 = 4字节
半精度(fp16)：16比特 = 2字节
量化(int8)：8比特 = 1字节
2. 显存占用计算公式
理论显存占用 = 参数量 × 每个参数占用的字节数 / 10^9 (GB)
考虑到实际运行中的额外开销，我们需要乘以一个安全系数(1.2~1.5之间，通常取1.3)：
实际显存占用 ≈ 理论显存占用 × 1.3
3. 计算示例
1B参数模型
全精度(fp32)：1×4×1.3 = 5.2GB
半精度(fp16)：1×2×1.3 = 2.6GB
量化(int8)：1×1×1.3 = 1.3GB
Qwen2.5 72B半精度模型