Shortcuts

应用示例

这里包含了展示如何使用TorchX进行各种应用风格(例如单节点、分布式等)的示例应用程序。这些应用程序可以单独启动,也可以作为管道的一部分启动。需要注意的是,TorchX的工作是启动这些应用程序。您会注意到这些应用程序的实现中没有使用任何TorchX的导入。

查看管道示例以了解如何在管道中使用组件。

先决条件

在执行示例之前,请安装TorchX以及运行示例所需的依赖项:

` $ pip install torchx $ git clone https://github.com/pytorch/torchx.git $ cd torchx/examples/apps $ TORCHX_VERSION=$(torchx --version | sed 's/torchx-//') $ git checkout v$TORCHX_VERSION $ pip install -r dev-requirements.txt `

计算世界大小示例

这是一个使用PyTorch Distributed计算世界大小的最小“hello world”示例应用程序。它是一个最小示例,因为它初始化了torch.distributed进程组并执行了一个单一集合操作(all_reduce),这足以验证基础设施和调度程序的设置。

此示例与dist.ddp兼容。要从命令行界面运行:

$ cd $torchx-git-repo-root/torchx/examples/apps
$ torchx run dist.ddp --script compute_world_size/main.py -j 1x2

数据预处理示例

这是一个简单的TorchX应用程序,它通过HTTP下载一些数据,通过torchvision对图像进行归一化处理,然后通过fsspec重新上传。

这个例子有两个Python文件:实际进行预处理的应用程序和可以与TorchX一起使用的组件定义,以启动应用程序。

闪电训练器示例

此示例包括使用PyTorch Lightning的模型训练和可解释性应用程序。这些应用程序具有共享逻辑,因此分布在多个文件中。

训练器和解释应用程序没有任何TorchX特有的内容,它们只是torchvision和Captum的应用程序。TorchX帮助你在各种调度器和本地主机上运行这些应用程序。 训练器应用程序是一个分布式数据并行风格的应用程序,并使用内置的dist.ddp启动。解释应用程序是一个单节点应用程序,并使用内置的utils.python作为常规的Python进程启动。

有关如何使用TorchX运行这些应用程序的说明,请参阅各自主模块中的文档:train.pyinterpret.py

Gallery generated by Sphinx-Gallery