在Azure上开始使用DeepSpeed

本教程将帮助您在Azure上开始使用DeepSpeed。

如果您还没有Azure账户，请在此处查看更多详情：https://azure.microsoft.com/。

通过AzureML在Azure上使用DeepSpeed

在Azure上尝试DeepSpeed的推荐且最简单的方法是通过AzureML。使用AzureML v2的训练示例和DeepSpeed自动调优示例可以在这里找到。

有关AzureML v1的示例，请查看Megatron-DeepSpeed、Transformers和CIFAR训练的易用示例这里。

我们的Megatron-DeepSpeed包含了在AzureML上进行端到端训练的最新配方。

如果您无法访问AzureML，或者想要使用Azure虚拟机或Azure VM Scale-Sets（VMSS）构建自定义环境，我们正在开发易于使用的集群设置脚本，这些脚本将在接下来的几周内发布。

如果您已经有一个集群设置，您可以使用azure recipes，这些配方可以轻松修改以训练各种模型配置。