大规模分布式并行训练

• 大模型训练技术概论
• DeepSpeed教程
• ZeRO 技术原理 (上)
• ZeRO 技术原理 (下)
• Pytorch 分布式教程
• Pytorch FSDP 介绍
• TorchTitan 原生大模型训练
• Ray 的核心概念

MMEngine

• MMEngine
• Runner
• Model
• Hooks
• Logger