DeepSpeed：把千亿参数模型训练塞进有限显存的实用工具箱

它解决什么问题

训练大语言模型时，显存是第一道墙。一个 1750 亿参数的模型，仅参数就用 fp16 存储，需要 350GB 显存，单卡根本放不下。DeepSpeed 的核心价值是让你在更少的 GPU 上训练更大的模型，或者用同样的 GPU 数量训练更长的序列。它面向的是 PyTorch 用户，尤其是那些已经写出训练脚本、但发现单卡或单机显存不够的人。仓库文档明确列出了 Megatron-Turing NLG 530B、BLOOM 176B、GLM 130B 等模型作为应用案例，说明它的设计目标就是千亿参数级别。不过它同样适用于几十亿参数的微调，因为 ZeRO 的显存节省效果在小规模下也成立。

ZeRO 分片与卸载：显存从哪来

ZeRO 是 DeepSpeed 的基石，它把模型状态（参数、梯度、优化器状态）按数据并行组进行分片，每个 GPU 只存一份，而不是每个 GPU 都复制完整副本。文档提到 ZeRO-Infinity 把分片扩展到 CPU 和 NVMe，这意味着显存不够时可以把优化器状态或参数卸载到内存和硬盘。ZeRO 有三个阶段，阶段一和阶段二分片优化器状态与梯度，阶段三连参数也分片。阶段三配合 offload 是显存节省最大的组合，但代价是通信量增加，训练速度会下降。仓库里有一个 ZenFlow 引擎，主打无停顿卸载，2025 年 10 月的 PyTorch 博客介绍了它，说明卸载路径正在被持续优化。实际使用时，你需要在配置里指定 zero_optimization.stage 和 offload_optimizer.device，这些键直接决定显存与速度的取舍。

并行策略：不止数据并行

DeepSpeed 把多种并行方式打包在一起，文档称为 3D-Parallelism，即数据并行、张量并行和流水线并行。数据并行是默认选项，张量并行把单个层的权重切到多卡，流水线并行按层切分模型。对超长序列，它还有 Ulysses Sequence Parallelism，把序列维度切分到不同 GPU。2025 年 3 月发布的 AutoTP 能自动为 Hugging Face 模型生成张量并行配置，这降低了使用门槛，因为手写张量并行切分规则很容易出错。2025 年 6 月的 Arctic Long Sequence Training 博客展示了多百万 token 序列的训练方案，这依赖序列并行与卸载的组合。多种并行可以叠加，但配置复杂度也随之上升，你需要理解每个并行维度对应的通信模式，否则容易在集群上遇到瓶颈。

安装与最小配置

DeepSpeed 通过 PyPI 分发，安装命令是 pip install deepspeed。仓库没有给出更具体的安装步骤，但根据 PyPI 页面和常见实践，它依赖 PyTorch 和 CUDA 环境。运行入口是 deepspeed 命令，典型用法是 deepspeed train.py --deepspeed ds_config.json。配置是一个 JSON 文件，核心键包括 train_batch_size、train_micro_batch_size_per_gpu、zero_optimization.stage 和 gradient_accumulation_steps。如果使用 Hugging Face Transformers，你需要额外传入 --deepspeed 参数并确保模型类支持 ZeRO 阶段三。仓库文档强调 Transformers 和 Accelerate 都有专门的 DeepSpeed 集成页，说明官方推荐走 Hugging Face 的封装路径。初次使用时，建议从 stage 1 开始，验证配置无误后再升级到 stage 3，因为 stage 3 对模型代码的侵入性更强。

新特性：DeepCompile 与 Muon 优化器

2025 年 4 月的博客介绍了 DeepCompile，它把编译优化引入分布式训练，目标是减少内核启动开销和显存占用。这类似 PyTorch 的 torch.compile，但 DeepCompile 需要与 ZeRO 的通信融合，复杂度更高。2026 年 5 月的博客介绍了 Muon 优化器支持，这是为特定模型设计的优化器，其更新规则与 Adam 不同。这两个特性说明 DeepSpeed 不只是停留在 ZeRO，它在向编译器和优化器层面延伸。但新特性通常只覆盖部分模型架构，DeepCompile 对自定义算子或动态 shape 的支持可能有限。如果你依赖这些新功能，需要先检查目标模型是否在支持列表内，否则可能回退到旧路径，性能提升有限。

维护节奏与升级成本

仓库最近一次推送是 2026 年 8 月 27 日，当天发布了 v0.19.6 补丁版，此前还有 v0.19.5 和 v0.19.4，间隔分别约 17 天和 4 天。这种高频补丁节奏意味着 bug 修复及时，但也意味着版本升级频繁。DeepSpeed 依赖 PyTorch 的版本，通常每个 PyTorch 大版本需要对应更新 DeepSpeed。升级时你不仅要换 pip 包，还要重新验证 ZeRO 配置和并行脚本，因为内部 API 可能变动。2025 年 12 月的 Core API 更新引入了 PyTorch 风格的 backward 和低精度主状态，这说明 API 仍在演进，不是稳定冻结的状态。如果你的训练脚本依赖旧版 API，升级前必须查看 release notes，否则可能遇到不兼容。

局限与替代方案

DeepSpeed 的配置复杂度是真实成本。一个简单的训练脚本可能只需要十几行，但 DeepSpeed 的 JSON 配置涉及多个嵌套键，错误配置会导致显存溢出或训练崩溃。它也不是万能的，对于小模型（比如小于 10 亿参数），ZeRO 的通信开销可能超过显存节省的收益，直接用 PyTorch 的 DistributedDataParallel 更简单。另一个替代方案是 Hugging Face Accelerate，它封装了 DeepSpeed 的配置，提供更简洁的 API，但灵活性降低。如果你需要的是纯数据并行且不想引入额外依赖，PyTorch 原生 DDP 是最轻的选择。若你追求极致的显存节省，可以考虑 FSDP（Fully Sharded Data Parallel），它是 PyTorch 官方的分片方案，与 ZeRO-3 思路相似，但由 PyTorch 团队维护，与 torch 版本同步更新。FSDP 的配置更贴近 PyTorch 习惯，但 DeepSpeed 在卸载到 NVMe 和混合并行方面更成熟。

编辑结论

DeepSpeed 适合需要训练或微调百亿以上参数模型的团队，尤其是已有 PyTorch 代码、但显存吃紧或单卡算力不足的场景。它不适合只跑小模型、不愿写 JSON 配置、或依赖纯学术维护的项目。采用前应先验证三点：一是 ZeRO 阶段与 offload 参数是否与你的模型结构和硬件匹配，二是 0.19.x 版本与你的 PyTorch 版本兼容性，三是 DeepCompile 或 AutoTP 这类新特性是否已覆盖你使用的 Hugging Face 模型架构。它的 Apache-2.0 许可允许商用，但代码库庞大且更新频繁，升级大版本时需回归测试。若你只需要简单的数据并行，PyTorch 自带的 DDP 更轻；若你追求极致的显存节省且愿意接受配置复杂度，DeepSpeed 仍是当前最成熟的选项。

官方来源

1. Official documentation
2. Official README
3. Project repository
4. Release notes