415 字
1 分钟
大模型推理的 Prefill 和 Decode：为什么首字等待与生成速度不同
大模型推理的 Prefill 和 Decode：为什么首字等待与生成速度不同
一篇关于三张 V100 部署 27B 模型的系列文章，先从推理的两个阶段讲起。理解它们可以解释一个常见现象：模型有时“想很久才开口”，之后输出却很快；有时首字很快，长回答又逐渐变慢。
- Prefill（预填充）：模型读取整段输入提示词并建立中间状态。输入越长、上下文越大，这一阶段通常越重，也会影响首 token 延迟。
- Decode（逐 token 生成）：模型每一步生成一个或多个 token，直到回答结束；交互中常用 token/s 描述输出速度。
- KV Cache：保存已经处理过的上下文状态，避免每一步重新计算全部历史，但会占用显存或内存。
所以测试模型时，至少分开记录首 token 时间、生成速度、输入长度、输出长度、并发和缓存状态。只写一个“每秒多少 token”，很难知道性能瓶颈是在长提示词预填充，还是在逐 token 解码。
三张 V100 的公开测试表现来自特定配置与优化；硬件代际、推理框架、量化方式和并发都会改变数字，不宜直接当作其他机器的预期值。
资料来源：三张 V100 跑 27B 大模型推理优化系列（本文配图为原帖中的概念图）
分享
如果这篇文章对你有帮助，欢迎分享给更多人！
大模型推理的 Prefill 和 Decode：为什么首字等待与生成速度不同
https://blog.zpooi.com/posts/v100-prefill-decode-basics/ 部分信息可能已经过时
相关文章 智能推荐
1
把整句拼音交给 LLM：输入法体验要同时衡量上下文和延迟
工具观察 一个 Windows 开源输入法用 LLM 将整句拼音转成中文；整理适用场景、延迟预期和隐私要求。
2
12GB 显卡跑大参数模型：Strata 测试里值得看的指标
技术观察 在 RTX 5070 上运行量化 MoE 模型时，分别衡量 decode、prefill、内存和输出质量。
3
单卡跑 27B 模型，权重能装下只是第一步
技术观察 单卡运行 27B 模型时，量化、KV Cache、上下文和推理框架都会影响速度与质量。
4
Claude Code 或 Codex 连不上服务：区分代理、DNS 与证书问题
AI 工具 AI 编程工具连接失败时，按名称解析、TCP、TLS 和应用代理设置分层检查，不要用关闭证书校验掩盖问题。
5
“模型降智”先做回归测试：固定题目、版本和路由再比较
技术观察 固定用例、版本和路由做回归测试，区分模型能力变化与服务环境差异。