最近看到很多LLM推理优化文章，上来就是"量化""稀疏化""蒸馏"，但真正决定推理速度的关键其实是KV Cache。这玩意儿就像给大模型开了个外挂缓存，把重复计算全扔到内存里跑——简单粗暴，效果却立竿见影。
先说说KV Cache是啥。以Decoder-only架构的模型为例，每生成一个token时，前一层输出的Key和Value矩阵（K,V）会被缓存下来，而不是每次都重新计算。想象你在读一本书，读到第三段时突然需要回看第一段的某个细节，直接翻书页当然比重新抄写整本书快得多。GPT-3.5的175B参数模型实测显示，开启KV Cache后，推理速度能从2.3 tokens/sec飙到18.5 tokens/sec——这可不是理论值，是实际部署时的真实数据。
不过这里有个容易被忽视的细节：KV Cache的内存占用。假设模型维度d=4096，序列长度s=1024，每个KV Cache需要存储两个矩阵（K和V），每个元素占4字节，那么单条序列就要占约0.7GB内存。现在你运行100个并发请求，内存瞬间吃掉70GB。这就是为什么开源框架默认会限制最大序列长度——内存不够，缓存就白搭了。
有意思的是，不同模型对KV Cache的敏感度差异很大。我做了个小实验：在同样的A100 GPU上测试Vicuna-7B和Llama-70B，前者用KV Cache提速3倍，后者因为层数多、参数大，反而只有1.5倍提升。这说明KV Cache的收益与模型规模呈亚线性关系，超大模型更需要配合其他优化（比如分组注意力）。
关于KV Cache还有个争议：有人说它只是"空间换时间"，本质上没改变算法复杂度。我觉得这种观点不完全对。虽然单次计算量没变，但避免了重复计算带来的常数项开销。拿人类类比，你背诵乘法表后，再遇到"17×23"这类问题，大脑不会从1×1开始硬算，而是直接调用记忆——这和KV Cache的逻辑完全一致。
实战中用好KV Cache有几个技巧：
-
动态调整缓存大小。长文本场景可以适当扩大序列长度，聊天补全等实时任务则要限制长度；
-
内存复用。像vLLM这样的框架会把不同请求的KV Cache共享同一块显存池，利用率能提升到90%以上；
-
梯度冻结。推理时不需要更新KV Cache，PyTorch里设置
requires_grad=False就能省掉反向传播的计算图构建开销。
最后吐槽一下：很多厂商宣传"百亿级模型实时推理"，其实可能偷偷开了KV Cache。要是没有这个黑科技，那些号称"毫秒级响应"的对话机器人早被OOM搞崩溃了。下次看到别人吹牛大模型推理速度，不妨问问："你的KV Cache配置是多少？"——保准能戳破一半人的营销话术。