torch_tensorrt.ts.ptq

这些组件是遗留的量化工具，旨在与TorchScript前端一起使用。它们已被TensorRT模型优化器工具包取代，该工具包可以与dynamo前端一起使用：

类

class torch_tensorrt.ts.ptq.DataLoaderCalibrator(*args: Any, **kwargs: Any)

在TensorRT中构建一个校准器类，并使用pytorch dataloader加载/预处理在校准期间传递的数据。

Parameters

• dataloader (torch.utils.data.DataLoader) – 一个pytorch dataloader的实例，用于遍历给定的数据集。

• algo_type (CalibrationAlgo) – 校准算法的选择。

• cache_file (str) – 缓存文件的路径。

• use_cache (bool) – 启用使用现有缓存的标志。

• device (设备) – 校准数据复制到的设备。

class torch_tensorrt.ts.ptq.CacheCalibrator(*args: Any, **kwargs: Any)

在TensorRT中构建一个校准器类，该类直接使用预先存在的缓存文件进行校准。

Parameters

• cache_file (str) – 缓存文件的路径。

• algo_type (CalibrationAlgo) – 校准算法的选择。

枚举

class torch_tensorrt.ts.ptq.CalibrationAlgo(value, names=None, *, module=None, qualname=None, type=None, start=1, boundary=None)

ENTROPY_CALIBRATION = <CalibrationAlgo.ENTROPY_CALIBRATION: 1>

ENTROPY_CALIBRATION_2 = <CalibrationAlgo.ENTROPY_CALIBRATION_2: 2>

LEGACY_CALIBRATION = <CalibrationAlgo.LEGACY_CALIBRATION: 0>

MINMAX_CALIBRATION = <CalibrationAlgo.MINMAX_CALIBRATION: 3>