Horovod 文档

Horovod 提升了深度学习训练的速度、规模和资源利用率。

开始使用

选择您的深度学习框架以了解如何开始使用Horovod。

在您的笔记本电脑上使用 Horovod 与 TensorFlow：

  1. 安装 Open MPI 3.1.2 或 4.0.0，或其他 MPI 实现。
  2. 如果您从 PyPI 安装了 TensorFlow，请确保安装了 g++-5 或更高版本。
    如果您从 Conda 安装了 TensorFlow，请确保安装了 gxx_linux-64 Conda 包。
  3. 安装 Horovod pip 包：pip install horovod
  4. 阅读 Horovod with TensorFlow 以获取最佳实践和示例。
或者，在 Spark、Docker、Singularity 或 Kubernetes（Kubeflow、MPI Operator、Helm Chart 和 FfDL）中使用 Horovod on GPUs。

在您的笔记本电脑上使用 Horovod 与 Keras：

  1. 安装 Open MPI 3.1.2 或 4.0.0，或其他 MPI 实现。
  2. 如果您从 PyPI 安装了 TensorFlow，请确保安装了 g++-5 或更高版本。
    如果您从 Conda 安装了 TensorFlow，请确保安装了 gxx_linux-64 Conda 包。
  3. 安装 Horovod pip 包：pip install horovod
  4. 阅读 Horovod with Keras 以获取最佳实践和示例。
或者，在 Spark、Docker、Singularity 或 Kubernetes（Kubeflow、MPI Operator、Helm Chart 和 FfDL）中使用 Horovod on GPUs。

要在您的笔记本电脑上使用Horovod与PyTorch：

  1. 安装Open MPI 3.1.2或4.0.0，或其他MPI实现。
  2. 如果您从PyPI安装了PyTorch，请确保安装了g++-5或更高版本。
    如果您从Conda安装了PyTorch，请确保安装了gxx_linux-64 Conda包。
  3. 安装Horovod pip包：pip install horovod
  4. 阅读Horovod with PyTorch以获取最佳实践和示例。
或者，在GPU上、Spark中、Docker中、Singularity中或Kubernetes（Kubeflow、MPI Operator、Helm Chart和FfDL）中使用Horovod on GPUs。

要在您的笔记本电脑上使用 Horovod 与 Apache MXNet：

  1. 安装 Open MPI 3.1.2 或 4.0.0，或其他 MPI 实现。
  2. 安装 Horovod pip 包：pip install horovod
  3. 阅读 Horovod with MXNet 以获取最佳实践和示例。
或者，在 Spark、Docker、Singularity 或 Kubernetes（Kubeflow、MPI Operator、Helm Chart 和 FfDL）中使用 Horovod on GPUs。

指南