大模型训练精度问题定位案例_31页_3mb

总结：MindStudio大模型训练精度问题定位

精度问题主要包括训练收敛不及预期，例如loss异常、NaN或下游指标偏差。迁移场景中常见不对齐现象，分为有标杆（GPU/NPU迁移）和原生开发场景。标准定位流程从Checklist检查开始，包括配置项、数据输入、模型结构和权重初始化，保证问题可复现。复现时使用确定性计算和工具辅助。问题分场景处理：首step差异需算子级排查，长稳loss差异分析梯度和激活值，溢出NaN需监控计算状态。特殊案例涉及内存踩踏、算子问题，可通过硬件压测排除设备故障。

案例包括配置不一致（如FSDP与DDP差异）、数据读取错误（tokenID不一致）、模型结构偏差（MOE顺序问题），以及工具辅助定位如检测gelu算子错误。营商环境完整报告提供具体方法和解决措施，增强精度对齐度。