自动调优

模型训练中的一个痛点是要找出与性能相关的良好配置，例如微批量大小，以充分利用硬件并实现高吞吐量。这个配置探索过程通常是手动完成的，但由于模型训练会重复多次，使用良好的配置会带来好处，因此这一过程非常重要。手动调整过程不仅耗时，而且结果还依赖于硬件。这意味着在一个硬件上良好的配置在另一个不同的硬件上可能不是最佳的。因此，用户必须再次手动调整配置。使用DeepSpeed时，有更多的配置参数可能会影响训练速度，这使得手动调整配置更加繁琐。

DeepSpeed Autotuner 减轻了这一痛点，并自动发现提供良好训练速度的最佳 DeepSpeed 配置。 Autotuner 使用模型信息、系统信息和启发式方法，有效地调整影响计算和内存效率的系统旋钮，例如 ZeRO 优化阶段、微批量大小和许多其他 ZeRO 优化配置。它不仅减少了用户在调优上花费的时间和资源，还可以发现比手动调优方法更好的配置。