DeepSpeed

模型设置

• 训练设置
  • 参数解析
  • 训练初始化
  • 分布式初始化
• 推理设置
  • DeepSpeedInferenceConfig
  • DeepSpeedTPConfig
  • DeepSpeedMoEConfig
  • QuantizationConfig
  • InferenceCheckpointConfig

训练API

• Training API
  • 前向传播
  • 反向传播
  • 优化器步骤
  • 梯度累积
  • 模型保存

推理API

• Inference API
  • 前向传播

检查点API

• 模型检查点
  • 加载训练检查点
  • 保存训练检查点
  • ZeRO 检查点 fp32 权重恢复
  • Avoiding ZeRO Checkpoint Bloat
  • 通用检查点（开发中）
• 激活检查点
  • 配置激活检查点
  • 使用激活检查点
  • 配置和检查点随机种子

ZeRO API

• ZeRO
  • 入门指南
  • 构建大规模模型
  • 手动参数协调
  • 以内存为中心的平铺
  • 调试
  • 修改分区状态
  • GPU内存管理
  • 卸载状态

专家混合模型 (MoE)

• 专家混合模型 (MoE)
  • 图层规范

Transformer Kernel API

• Transformer Kernels
  • DeepSpeed Transformer 配置
  • DeepSpeed Transformer Layer

管道并行

• 管道并行
  • 模型规格
  • 培训
  • 扩展管道并行性

优化器

• 优化器
  • Adam (CPU)
  • FusedAdam (GPU)
  • FusedLamb (GPU)
  • OneBitAdam (GPU)
  • ZeroOneAdam (GPU)
  • OnebitLamb (GPU)

学习率调度器

• 学习率调度器
  • LRRangeTest
  • OneCycle
  • WarmupLR
  • WarmupDecayLR
  • WarmupCosineLR

浮点运算性能分析器

• Flops Profiler

自动调优

• 自动调优
  • Autotuner

内存使用情况

• 内存需求
  • API To Estimate Memory Usage
  • 讨论

监控

• 监控
  • TensorBoard
  • WandB
  • Comet
  • CSV 监控器

索引和表格

• 索引

• 模块索引

• 搜索页面