激活检查点
DeepSpeed中的激活检查点API可用于启用与激活检查点相关的各种内存优化。这些优化包括在使用模型并行时跨GPU的激活分区、CPU检查点、连续内存优化等。
请参阅DeepSpeed JSON配置以获取完整集合。
这里我们介绍激活检查点API。请参阅Megatron-LM教程中的启用DeepSpeed以获取示例用法。
DeepSpeed中的激活检查点API可用于启用与激活检查点相关的各种内存优化。这些优化包括在使用模型并行时跨GPU的激活分区、CPU检查点、连续内存优化等。
请参阅DeepSpeed JSON配置以获取完整集合。
这里我们介绍激活检查点API。请参阅Megatron-LM教程中的启用DeepSpeed以获取示例用法。