DeepSpeed

DeepSpeed 是微软开源的深度学习训练与推理优化库,面向大规模模型的分布式训练场景。核心是 ZeRO 系列显存优化(含 ZeRO-Infinity、ZeRO++)与数据、流水线、张量三维并行,配合序列并行、MoE、CPU/NVMe offload 与 ZeroQuant 量化,使单机显存放不下的百亿至千亿参数模型得以在有限硬件上训练与推理。它以 Python 库形式集成进现有 PyTorch 训练流程,可与 Hugging Face Transformers、Accelerate、PyTorch Lightning 等对接,支持 NVIDIA、AMD、Intel Gaudi 等多种加速器。定位是训练与推理系统层的底层优化组件,而非上层应用框架,适合需要自建大模型训练或推理管线的团队。