KV Cache 计算器
DeepSeek V4 Pro / Flash & Kimi K2 & GLM-5 — KV Cache 占用计算
模型与推理配置
模型
(层数, 总参数量, 上下文窗口)
DeepSeek V4 Pro (61层, 1.6T, 最大 1M)
DeepSeek V4 Flash (43层, 284B, 最大 1M)
GLM-5 / 5.1 (78层, 744B, 最大 200K)
GLM-5.2 (78层, 744B, 最大 1M)
Kimi K2 (61层, 1.04T, 最大 128K)
Kimi K2.5 / K2.6 / K2.7-Code (61层, 1.04T, 最大 256K)
Batch Size
单个请求上下文长度 (tokens)
1K (1,024)
2K (2,048)
4K (4,096)
8K (8,192)
16K (16,384)
32K (32,768)
64K (65,536)
128K (131,072)
256K (262,144)
512K (524,288)
1M (1,048,576)
自定义...
精度方案
论文默认: NoPE FP8 + RoPE BF16 + Indexer FP4
FP32
BF16
FP16
FP8 (全量化 + block scale)
INT8 (全量化 + block scale)
INT4 (全量化 + block scale)
开始计算
计算结果
计算公式与参数
① 计算以论文为基准,参考 vLLM 源代码。
② 结果为理论推导,仅供参考。