is_distributed¶
- torchtune.training.is_distributed() bool[source]¶
检查是否设置了初始化 torch.distributed 所需的所有环境变量，并且分布式已正确安装。这表明这是一个分布式运行。 https://pytorch.org/docs/stable/distributed.html#environment-variable-initialization
检查以下条件：
torch.distributed 可用
主端口和主地址环境变量已设置
世界大小大于1
rank 环境变量已设置
- Returns:
如果上述所有条件都成立，则为True，否则为False。
- Return type:
