通信日志

在本教程中，我们介绍了DeepSpeed通信日志记录，并提供了其使用示例。

概述

注意：所有日志通信调用都是同步的，以提供准确的时间信息。如果您的模型大量使用异步通信操作，这可能会影响性能。

记录通信调用对于确保网络资源得到充分利用至关重要。DeepSpeed通信记录器能够检测并记录在deepspeed.comm下启动的所有通信操作。每个通信操作都可以在完成后直接打印到控制台（通过verbose配置选项），或者在训练完成、一个epoch结束后、N次训练迭代后等情况下，通过客户端代码调用deepspeed.comm.log_summary()或deepspeed.com.log_summary(show_straggler=True)来打印摘要。

用法

DeepSpeed中的通信日志记录在deepspeed 配置文件中进行配置。DeepSpeed将自动记录所有操作（prof_all）或用户指定的操作（prof_ops）的通信。

配置设置

通信日志记录可以在DeepSpeed的配置文件中进行配置。可以通过在DeepSpeed的配置json文件中添加以下字段来启用通信日志记录。详情请参阅通信日志记录。

"comms_logger": {
  "enabled": true,
  "verbose": false,
  "prof_all": true,
  "debug": false
}

目前有两种方式可以查看通信日志记录：

  1. 使用verbose配置选项打印所有通信操作。参见Verbose Logging
  2. （推荐）使用deepspeed.comm.log_summary()函数调用打印日志摘要。参见日志摘要

详细日志记录

如果选择了enabled配置选项，所有通信操作将立即打印到控制台。此模式旨在进行详细调试，不建议大多数用户使用。以下是verbose输出的示例片段：

[2022-06-26 01:39:55,722] [INFO] [logging.py:69:log_dist] [Rank 0] rank=0 | comm op: reduce_scatter_tensor | time (ms): 9.46 | msg size: 678.86 MB | algbw (Gbps): 1204.52  | busbw (Gbps): 1129.23
[2022-06-26 01:39:56,470] [INFO] [logging.py:69:log_dist] [Rank 0] rank=0 | comm op: all_gather_into_tensor | time (ms): 0.11 | msg size: 6.0 MB | algbw (Gbps): 954.41  | busbw (Gbps): 894.76
[2022-06-26 01:39:56,471] [INFO] [logging.py:69:log_dist] [Rank 0] rank=0 | comm op: all_gather_into_tensor | time (ms): 0.08 | msg size: 6.0 MB | algbw (Gbps): 1293.47  | busbw (Gbps): 1212.63

对于高级用户，debug 选项会将每个通信操作的调用函数附加到该操作的 log_name 上。请参阅 日志摘要 以查看启用了 debug 的 deepspeed.comm.log_summary() 调用的示例。

日志摘要

建议用户在训练里程碑（例如每个周期或N次迭代）时添加对deepspeed.comm.log_summary()的调用。这使得无需筛选verbose的日志即可进行高级通信日志记录。

添加DeepSpeed通信日志摘要的步骤如下：

  1. 使用所需的设置修改配置文件
  2. （可选）如果你的应用程序包含你希望记录的torch.distributed调用，导入deepspeed.comm包并将torch.distributed调用修改为使用deepspeed.comm（注意：deepspeed.comm的集合和点对点API与torch.distributed完全匹配）
  3. 调用 deepspeed.comm.log_summary

例如，请参见以下修改后的DeepSpeedExamples/cifar示例：

# Step 2: (Optional) Import deepspeed.comm
import deepspeed.comm as dist

# Note that any communication operations using `import torch.distributed as dist` calls can remain unchanged, and will be automatically logged under deepspeed.comm!
dist.all_reduce(tensor)

for epoch in range(2):

    running_loss = 0.0
    for i, data in enumerate(trainloader):
        pre = time.time()
        inputs, labels = data[0].to(model_engine.local_rank), data[1].to(
            model_engine.local_rank)
        if fp16:
            inputs = inputs.half()
        outputs = model_engine(inputs)
        loss = criterion(outputs, labels)

        model_engine.backward(loss)
        model_engine.step()
        post = time.time()
    # Step 3: Call `deepspeed.comm.log_summary()`
    dist.log_summary()

以下是使用ZeRO-3的Megatron-DeepSpeed在10次迭代结束时deepspeed.comm.log_summary()的截断示例输出：

Comm. Op            Message Size        Count               Total Latency(ms)   Avg Latency(ms)     tput_avg (Gbps)     busbw_avg (Gbps)
broadcast
                    2.0 KB              146                 11.12               0.08                0.43                0.41
                    98.25 MB            1                   8317.12             8317.12             0.20                0.19
reduce_scatter_tensor
                    678.86 MB           40                  602.29              9.69                1468.06             1376.31

以下是在相同配置下启用debug时对deepspeed.comm.log_summary的调用：

Comm. Op            Message Size        Count               Total Latency(ms)   Avg Latency(ms)     tput_avg (Gbps)     busbw_avg (Gbps)
broadcast | [Caller Func: _broadcast_model]
                    2.0 KB              146                 9.39                0.06                0.52                0.48
                    98.25 MB            1                   8540.60             8540.60             0.19                0.18
reduce_scatter_tensor | [Caller Func: reduce_scatter_fn]
                    678.86 MB           80                  1527.17             13.94               1211.75             1136.01

可以通过向deepspeed.comm.log_summary()调用提供可选参数show_straggler=True来展示Straggler效应。Straggler效应定义为某个等级等待最慢等级开始通信的时间。对于每个集体操作，log_summary会获取所有等级中的最小集体时间，并按如下方式计算Straggler效应：

straggler = sum(t_collectives - allreduce(t_collectives, MIN))

在上面的示例中，使用以下log_summary调用打印掉队者效应：

    dist.log_summary(show_straggler=True)

更新: