扩展

加载C++ / CUDA扩展的模块。

函数

get_cuda_ext	返回 tensor_quant 的 cuda 扩展。
get_cuda_ext_fp8	返回用于tensor_quant_fp8的cuda扩展。
precompile	预编译CUDA扩展。

get_cuda_ext(raise_if_failed=False)

返回tensor_quant的cuda扩展。

Parameters:

raise_if_failed (bool) –

get_cuda_ext_fp8(raise_if_failed=False)

返回用于tensor_quant_fp8的cuda扩展。

Parameters:

raise_if_failed (bool) –

precompile()

预编译CUDA扩展。