LightSpec 开源首个通用动态 MTP 系统：从 DSpark 局限到运行时调度优化
🚀 核心突破
LightSpec 由上海交通大学、北京航空航天大学与 LightLLM 团队联合开发，是业内首个通用动态 MTP（多 Token 预测）推理框架。代码已集成至 LightLLM 开发分支，标志着动态推测解码从“特定模型优化”迈向“通用系统基础设施”。
为什么重要？
此前 DeepSeek 发布的 DSpark 虽然展示了动态 MTP 的潜力，但存在两大局限：
1. 高度绑定特定模型
2. 需要额外训练置信度预测模块
LightSpec 通过 Training-free（无需训练） 的设计彻底解决了这些问题，实现了更高的通用性和更低的落地门槛。
🔧 技术亮点
1. 完全无需训练的动态调度
LightSpec 摒弃了传统的置信度预测模型训练，转而利用运行时在线统计进行动态决策：
- ✅ 直接兼容 DSpark 的动态验证策略
- ✅ 完美支持 Eagle3 等不同草稿模型
- ✅ 可扩展至未来树形草稿、多分支推测解码等复杂架构
2. 双层运行时规划器
将动态 MTP 扩展到整个解码流程，统一优化验证预算与草稿预算：
| 阶段 | 优化目标 | 决策内容 |
|---|---|---|
| 第一阶段 | 验证预算优化 | 搜索最优动态 Batch 大小，决定送入主模型验证的 Token 数量 |
| 第二阶段 | 草稿预算优化 | 在确定验证预算后，搜索下一轮最优草稿步数 |
相比仅动态调整验证长度的方案，LightSpec 覆盖了整个 MTP 解码周期，调度更精准。
3. 基于运行时统计的自适应机制
不依赖额外训练，而是利用推理过程中自然产生的数据：
- 运行时代价表：自动统计主/草稿模型在不同批次下的推理耗时
- EMA 接受率统计：持续更新不同请求规模、Batch 大小及 MTP 长度下的接受率
- 插值估计：对样本不足的配置进行历史数据插值
随着系统运行，调度策略自动收敛并适应真实工作负载。
4. 与 Draft 架构解耦
LightSpec 不再依赖具体草稿模型的生成方式，统一处理：
- 并行解码草稿（如 DSpark、DFlash）：主要动态调整验证长度
- 自回归草稿（如 Eagle3）：同时优化草稿生成开销与验证长度
这使得动态 MTP 首次成为整个开源生态可复用的通用能力。
⚡ 系统级优化：CPU-GPU 流水线协同
为实现调度与执行的完全重叠，LightSpec 采用了独特的提前规划机制：
- 历史统计驱动：规划器依赖前几轮的 EMA 统计，而非当前批次实时结果
- 消除数据依赖：按最大可能草稿长度预留 Token 槽位，GPU 执行结束后仅根据估计接受长度切割
- 隐藏开销：调度、输入构建及统计维护几乎全部隐藏在 GPU 推理过程中
📊 实验结果（Qwen3-14B / H200 / 并发 256）
在 MTP=11 配置下，LightSpec 展现了显著的性能提升：
✅ 接受率大幅提升
| 工作负载 | 接受率提升 |
|---|---|
| ShareGPT | +43 个百分点 |
| HumanEval | +29 个百分点 |
| GSM8K | +19 个百分点 |
✅ 验证量显著降低
| 工作负载 | 验证量降低倍数 |
|---|---|
| ShareGPT | ~3.2× |
| HumanEval | ~1.8× |
| GSM8K | ~1.5× |
ShareGPT 的实际验证量仅为静态方案的 三分之一。
✅ 吞吐量增长
| 工作负载 | 吞吐提升 |
|---|---|
| ShareGPT | +64% |
| HumanEval | +39% |
| GSM8K | +8.9% |
即使在较浅的 MTP=3 配置下，ShareGPT 上仍获得 14% 的吞吐提升。
🔮 展望：迈向通用动态 MTP 基础设施
固定 MTP 步数难以兼顾不同任务的接受率特征：步数过小限制加速收益，过大则引入过多开销。LightSpec 通过联合动态调整 Draft 与 Verification Budget，在不同任务下自动寻找最优计算预算。
随着树形草稿、混合草稿、多策略投机解码等复杂架构的落地，动态 MTP 将从单一调度策略发展为覆盖草稿深度、宽度、树扩展、分支剪枝等多维度的系统级能力。LightSpec 正是围绕这一愿景构建，推动动态 MTP 成为整个开源推理生态共享的基础设施。
👥 作者信息
- 陈俊一：上海交通大学硕士研究生，研究方向为大模型推理加速算法与框架优化
- 白世豪、汪再军、龚睿昊：LightLLM 团队成员
LightLLM 团队长期致力于大语言模型推理引擎、分布式并行、推测解码与系统级性能优化，持续推动前沿推理算法的工程化落地。