工具

量化工具。

函数

reduce_amax	计算张量的绝对最大值。
is_quantized	检查模块是否被量化。
is_quantized_layer_with_weight	检查模块是否使用权重进行了量化。
is_quantized_column_parallel_linear	检查模块是否为量化列并行线性模块。
is_quantized_row_parallel_linear	检查模块是否为量化的行并行线性模块。
replace_function	在上下文中用新函数替换一个函数。
export_torch_mode	上下文管理器启用导出模式。
is_torch_library_supported	检查已安装的PyTorch版本是否满足或超过指定版本。
get_parallel_state	获取并行状态。

export_torch_mode()

上下文管理器启用导出模式。

get_parallel_state(model, name=None)

获取并行状态。

Parameters:

• model – Pytorch 模型。

• name – 要获取并行状态的模型子模块的名称。如果为None，则返回模型的并行状态。

Return type:

并行状态

is_quantized(module)

检查模块是否被量化。

is_quantized_column_parallel_linear(module)

检查模块是否为量化列并行线性模块。

is_quantized_layer_with_weight(module)

检查模块是否使用权重进行了量化。

is_quantized_row_parallel_linear(module)

检查模块是否为量化的行并行线性模块。

is_torch_library_supported()

检查已安装的PyTorch版本是否满足或超过指定版本。

reduce_amax(input, axis=None, keepdims=True)

计算张量的绝对最大值。

沿着axis中给定的维度减少input_tensor。除非keepdims为真，否则对于axis中的每个条目，张量的秩都会减少1。如果keepdims为真，则减少的维度将保留长度为1。

注意

梯度计算被禁用，因为此函数从不意味着学习会减少 amax

Parameters:

• input – 输入张量

• axis – 要减少的维度。可以是None、int或int的元组。如果为None（默认值），则减少所有维度。必须在[-rank(input_tensor), rank(input_tensor))范围内。

• keepdims – 一个布尔值。如果为真，则保留长度为1的缩减维度。默认为True

• granularity – 已弃用。指定统计量是在张量还是通道粒度上计算

Returns:

简化后的张量。

Raises:

• ValueError – 任何没有意义或不支持的轴

• ValueError – 如果传入了未知的粒度。

replace_function(package, name, new_func)

在上下文中用新函数替换一个函数。