入门指南
指南
部署
示例
参考
支持
模块
modelopt.torch.quantization.qtensor.base_qtensor
实数量化张量的基类。
modelopt.torch.quantization.qtensor.int4_tensor
实现INT4量化,用于高效的张量存储和计算。
modelopt.torch.quantization.qtensor.nf4_tensor
实现NF4量化,用于高效的张量存储和计算。
modelopt.torch.quantization.qtensor.nvfp4_tensor
实现NVFP4量化,用于高效的张量存储和计算。
用于实际量化的张量类。