浮点运算分析器


DeepSpeed中的flops分析器分析模型的前向传递,并测量其参数、延迟和浮点操作。DeepSpeed flops分析器可以与DeepSpeed运行时一起使用,也可以作为独立包使用。

在使用DeepSpeed进行模型训练时,可以在deepspeed_config文件中配置flops profiler,而无需更改用户代码。要在DeepSpeed运行时之外使用flops profiler,只需安装DeepSpeed并导入flops_profiler包即可直接使用API。

请参阅Flops Profiler教程以获取使用详情。

Flops 分析器