大模型量化显存速算口诀 ​

核心公式 ​

模型大小 ≈ 参数量 × 每参数占用

8 bit = 1 Byte

位宽换算 ​

格式 每参数占用

FP32 4 Byte FP16/BF16 2 Byte INT8 1 Byte 4bit 0.5 Byte 2bit 0.25 Byte

口算口诀 ​

N B模型： ​

FP32： 4 × N GB FP16： 2 × N GB INT8： 1 × N GB 4bit： 0.5 × N GB 2bit： 0.25 × N GB

常见模型速查 ​

7B ​

FP32： ≈28GB

FP16： ≈14GB

INT8： ≈7GB

4bit： ≈3.5GB

14B ​

FP16： ≈28GB

4bit： ≈7GB

32B ​

FP16： ≈64GB

4bit： ≈16GB

70B ​

FP16： ≈140GB

4bit： ≈35GB

实际运行注意 ​

理论大小 ≠ 实际显存。

额外开销：

• KV Cache
• CUDA运行空间
• 激活值
• 量化附加信息

建议：

显存不要压满。

经验：

模型权重占显存70%~85%

比较安全。

快速判断流程 ​

看到显卡：

例如：

24GB显存。

想跑模型：

1. 看参数量：

7B / 14B / 32B

2. 看精度：

FP16？

4bit？

3. 心算：

<!-- -->

参数量 × 位宽倍率

4. 留余量。

一句话记忆 ​

参数量决定需求大小
bit数决定压缩程度
格式决定精度和效果