推理

推理呢？推理可以在用于训练模型的Python脚本之外进行。如果这样做，它将不会引用Horovod库。

要在由支持Horovod的训练脚本生成的检查点上运行推理，您应该优化图并仅保留模型前向传递所需的操作。TensorFlow仓库中的推理优化脚本将为您完成此操作。

如果你想将检查点转换为Frozen Graph， 你应该在完成上述优化后进行，否则Freeze Graph 脚本将无法加载Horovod操作：

ValueError: No op named HorovodAllreduce in defined operations.