显存量化计算器
输入显卡显存与模型参数量，估算各量化档能否装下。
在 14.7 GB 可用显存（已预留系统 8%）内，IQ2_M是能完整装进显卡的最高质量档位，总占用约 10.9 GB。
| 量化档 | 文件体积 | 显存需求（专家进内存模式） | 判定 | 该档速度 |
|---|---|---|---|---|
| FP16 / BF16 | 55.9 GB | 57.3 GB | ✗ 放不下 | 无量化，精度最高 |
| Q8_0 | 29.7 GB | 8.9 GB + 内存 22.3 GB | ✓ 专家进内存 | 可用（8–20 t/s 级） |
| Q6_K | 22.9 GB | 7.2 GB + 内存 17.2 GB | ✓ 专家进内存 | 可用（8–20 t/s 级） |
| Q5_K_M | 19.8 GB | 6.4 GB + 内存 14.9 GB | ✓ 专家进内存 | 可用（8–20 t/s 级） |
| Q4_K_M | 16.9 GB | 5.7 GB + 内存 12.7 GB | ✓ 专家进内存 | 可用（8–20 t/s 级） |
| IQ4_XS | 14.8 GB | 5.1 GB + 内存 11.1 GB | ✓ 专家进内存 | 可用（8–20 t/s 级） |
| Q3_K_M | 13.7 GB | 4.8 GB + 内存 10.2 GB | ✓ 专家进内存 | 可用（8–20 t/s 级） |
| IQ2_M | 9.4 GB | 10.9 GB | ✓ 全 GPU | 重度量化，复杂任务明显降智 |
| IQ2_XXS | 7.2 GB | 8.6 GB | ✓ 全 GPU | 极限压缩，仅应急可用 |
估算口径：权重体积 = 参数量 × 有效比特/8（GGUF 经验值，实际误差约 ±5%）； KV 缓存按注意力架构分档粗估（0.2 GB/8K 上下文）； 运行开销按 1.2 GB。MoE 模式速度按激活参数 × 内存带宽 45 GB/s × 60% 效率粗估， 实际受内存通道数与频率影响明显。下载 GGUF 文件的实际体积通常比纯权重再大 5–15%（含词表与元数据）。
使用说明
这个工具解决什么问题
「我的 8GB 显卡能跑 27B 模型吗」「Q4_K_M 量化后到底多大」——本地部署圈每天都被这类问题刷屏。答案本质是一道乘法:参数量 × 量化档位系数 + KV 缓存。这个工具把这道算术自动化:选显存预设或自定义,输入参数量,各量化档的体积、能否全 GPU、是否需要 offload 一张表列清楚。
核心能力
全量化档:FP16 到 IQ2 系列逐档估算体积。KV 缓存粗估:按注意力架构分档,避免「装得下跑不动」。显存预设:8/12/16/24GB 一键选择,自定义亦可。可行性结论:每档直接标注全 GPU / offload / 不可行。
使用建议
下载模型前先算一遍,按结论选档,省得下完 7GB 才发现跑不动;同参数量下优先选能全 GPU 的最高质量档;配合站内本地部署教程,从选型到跑通一步到位。
常见问题
估算结果和实际下载的文件大小为什么有出入?
量化档系数是按主流 GGUF 模型的经验值估算的,实际大小受模型架构(如是否 GQA)、词表大小、上下文长度影响,通常有几到十几个百分点的浮动。结果用于「判断能不能装下」足够可靠,用于精确规划磁盘请以下载页标注为准。
KV 缓存是什么,为什么也要算进显存?
模型推理时为上下文中的每个 token 保留的中间状态就是 KV 缓存,它随上下文长度线性增长。很多人只算了权重体积,结果 8GB 卡装下了 7GB 的模型,一跑长上下文就爆显存——本工具把 KV 缓存粗估一并计入,给出更接近真实的可行性判断。
「需要 offload」是什么意思?
指显存装不下完整模型,需要把部分层放到内存(CPU)运算。能全 GPU 跑速度最快;offload 会明显变慢,但至少能跑。工具会按档位标注哪种可行,你可以据此在「速度」与「质量」之间做取舍——通常 Q4 系列是 8GB 显卡的质量速度平衡点。