模板函数 torch_tensorrt::ptq::make_int8_calibrator¶

定义在文件 ptq.h

函数文档¶

template<typename Algorithm = nvinfer1::IInt8EntropyCalibrator2, typename DataLoader> inline Int8Calibrator<算法, DataLoader> torch_tensorrt::ptq::make_int8_calibrator(DataLoader dataloader, const std::string &cache_file_path, bool use_cache)¶

一个工厂，用于从torch数据加载器构建训练后量化校准器。

创建一个用于训练后量化的校准器。默认情况下，返回的校准器使用TensorRT Entropy v2算法执行校准。这适用于前馈网络。您可以通过将校准器类作为模板参数调用make_int8_calibrator来覆盖算法选择（例如使用推荐用于NLP任务的MinMax校准器）。

例如 torch_tensorrt::ptq::make_int8_calibrator(std::move(calibration_dataloader), calibration_cache_file, use_cache);

Template Parameters

算法 – 类 nvinfer1::IInt8Calibrator (默认: nvinfer1::IInt8EntropyCalibrator2) - 使用的算法
DataLoader – std::unique_ptr - DataLoader 类型

Parameters

dataloader – std::unique_ptr - 包含数据的DataLoader
cache_file_path – const std::string& - 读取/写入校准缓存的路径
use_cache – bool - 使用校准缓存

Returns

Int8Calibrator