LLM Training Failure Diagnosis

✨ LLM 训练故障排除利器：快速定位与解决方案 ✨

在大型语言模型 (LLM) 的训练过程中，您是否曾被各种神秘的错误所困扰？NaN、OOM（内存耗尽）和死锁……这些问题常常让人束手无策，耗费大量时间进行盲目猜测。别担心，我们的 LLM 训练故障诊断工具正是您需要的得力助手！

我们精心汇集了训练中常见的故障案例，并为您提供清晰的诊断步骤和经验证的修复方案，助您快速定位问题、摆脱困境，让训练重回正轨。

---

💡 功能亮点一览

• 权威问题库： 涵盖训练中高频出现的 NaN、OOM（内存耗尽）与死锁等核心问题。
• 详细诊断步骤： 每种故障都配备详尽的分析，帮助您理解问题根源。
• 可行修复方案： 提供经过实践验证的解决方案，直接上手操作。
• 告别盲猜： 精准指引，让您在短时间内找到症结，显著提升训练效率。

---

🎯 精选案例概览

以下是一些我们数据库中的典型案例，它们都拥有详细的错误日志、配置分析、根源剖析和验证过的解决方案。

NaN 错误处理：告别训练中的“黑洞”

• 混合精度训练中 Loss 变为 NaN (100 步后)： 当使用 fp16 训练 LLaMA-13B 时，损失在 100 步突然变为 NaN。梯度范数在 NaN 前飙升。
• 预热阶段梯度爆炸： 在前 50 个预热步骤中梯度范数飙升至无穷大，立即导致 NaN 损失。
  • 常用解决方案： 切换到 BF16 (98% 成功率)，启用梯度裁剪 (60% 成功率)，降低初始学习率 (92% 成功率)。

OOM 内存优化：让显存不再是瓶颈

• 反向传播期间 CUDA OOM (AdamW 状态)： OOM 错误专门在更新优化器状态的反向传播期间触发。
• 加载模型检查点时 OOM： 即使模型在训练期间可以适应，但在调用 model.load_state_dict() 时仍出现 CUDA OOM。
• DeepSpeed ZeRO-3 单个参数 OOM： 即使启用了 ZeRO-3 卸载，仍然在单个 gather 操作中遇到 OOM 错误。
  • 常用解决方案： 使用 DeepSpeed ZeRO-3 (Offload) (95% 成功率)，使用 8 位 Adam (85% 成功率)，先将检查点加载到 CPU (99% 成功率)，对大型嵌入使用 LoRA (80% 成功率)。

死锁与通信问题：确保分布式训练流畅无阻

• NCCL 看门狗超时 (死锁)： 训练无限期挂起。GPU 利用率降至 0%。最终因看门狗超时而崩溃。
• FSDP 模型初始化时挂起： 使用 FSDP 包装模型时训练无限期挂起。没有错误消息，只是冻结。
• NCCL 错误：未处理的系统错误： 多节点训练在节点 2 上因神秘的 NCCL 系统错误而失败。
  • 常用解决方案： 确保仅在 Rank 0 上进行检查点处理 (70% 成功率)，增加 NCCL 超时设置 (40% 成功率)，在条件代码后使用 dist.barrier() (88% 成功率)，禁用 InfiniBand (85% 成功率)。

模型收敛与输出异常：让结果更符合预期

• Loss 停留在 log(vocab_size)： 损失在整个训练过程中保持在约 10.8 (log(50000))。模型输出随机 token。
• Tokenizer 不匹配导致乱码输出： 模型生成完全乱码。损失较低但输出毫无意义。
• QLoRA 训练结果比全微调差： QLoRA 微调模型在相同数据上的表现显著差于全微调。
  • 常用解决方案： 检查标签偏移 (85% 成功率)，使用匹配的 Tokenizer (100% 成功率)，增加 LoRA rank (70% 成功率)。

---

📚 更多实用建议

• 梯度检查点导致训练变慢： 如果您不确定是否需要梯度检查点，请先测量内存。如果未出现 OOM，请禁用以加快训练速度。
• 验证损失增加而训练损失减少： 经典的过拟合模式。
• Dataloader 工作进程导致内存泄漏： 训练内存随时间缓慢增加，直到大约 1000 批次后出现 OOM。

我们致力于为您提供最全面、最实用的 LLM 训练故障诊断服务，助您的模型训练之路更加顺畅高效！