分布式

用于使用 torch.distributed 的实用函数。

函数

`backend`	返回分布式后端。
`barrier`	同步所有进程。
`get_data_parallel_group`	已弃用的方法。
`get_tensor_parallel_group`	已弃用的方法。
`is_available`	返回分布式包是否可用。
`is_initialized`	返回分布式包是否已初始化。
`is_master`	返回当前进程是否为主进程。
`rank`	返回当前进程的排名。
`set_data_parallel_group`	已弃用的方法。
`set_tensor_parallel_group`	已弃用的方法。
`size`	返回进程的数量。

backend()

返回分布式后端。

Return type:: str | None

barrier(group=None)

同步所有进程。

Return type:: 无

get_data_parallel_group()

已弃用的方法。

Return type:: 无

get_tensor_parallel_group()

已弃用的方法。

Return type:: 无

is_available()

返回分布式包是否可用。

Return type:: bool

is_initialized()

返回分布式包是否已初始化。

Return type:: bool

is_master(group=None)

返回当前进程是否为主进程。

Return type:: bool

rank(group=None)

返回当前进程的排名。

Return type:: 整数

set_data_parallel_group(group): 已弃用的方法。

set_tensor_parallel_group(group): 已弃用的方法。

size(group=None)

返回进程的数量。

Return type:: 整数