qtensor

模块

modelopt.torch.quantization.qtensor.base_qtensor

实数量化张量的基类。

modelopt.torch.quantization.qtensor.int4_tensor

实现INT4量化,用于高效的张量存储和计算。

modelopt.torch.quantization.qtensor.nf4_tensor

实现NF4量化,用于高效的张量存储和计算。

modelopt.torch.quantization.qtensor.nvfp4_tensor

实现NVFP4量化,用于高效的张量存储和计算。

用于实际量化的张量类。