Skip to main content
Version: Next

入门指南

note

这是一个使用databricks 10.4.x-gpu-ml-scala2.12运行时的示例

1. 使用我们准备的脚本重新安装horovod

我们基于torchvision、horovod和pytorch_lightning构建,因此我们需要通过在这些特定版本的包上重新安装horovod。 下载我们的horovod安装脚本并上传 到databricks dbfs。

在配置Spark集群时,将此脚本的路径添加到Init Scripts部分。 重启集群会自动安装horovod v0.25.0、pytorch_lightning v1.5.0和torchvision v0.12.0。

2. 安装SynapseML深度学习组件

您可以安装单个synapseml-deep-learning wheel包以获得深度视觉分类的全部功能。 运行以下命令:

pip install synapseml==1.0.8

另一种方法是在库管理部分安装SynapseML jar包,通过添加:

Coordinate: com.microsoft.azure:synapseml_2.12:1.0.8
Repository: https://mmlspark.azureedge.net/maven
note

如果您安装jar包,请按照此示例的前两个单元格操作,以确保horovod识别SynapseML。

3. 尝试我们的示例笔记本

您可以按照此[示例](../Quickstart%20-%20Fine-Tune a Vision Classifier)的其余部分进行操作,并在自己的数据集上尝试。

支持的模型(DeepVisionClassiferbackbone参数)应为Torchvision支持的模型的字符串格式; 你也可以通过运行backbone in torchvision.models.__dict__来检查。