Shortcuts

获取世界大小和排名

torchtune.training.get_world_size_and_rank() Tuple[int, int][source]

获取当前世界大小(即默认进程组中的总进程数)和当前进程的排名号的函数。

Returns:

世界大小,排名

Return type:

元组[int, int]