大小

基于幅度的稀疏性灵感来自NVIDIA ASP(自动稀疏性)。

MagnitudeSearcher

基于幅度的稀疏性搜索器。

函数

compute_valid_1d_patterns

计算一维向量中所有可能的m:n模式。

create_asp_mask

根据指定的稀疏模式为给定张量创建掩码。

fill

计算张量中非零元素的比例。

get_nmprune_info

从给定的字符串中获取n:m稀疏模式信息。

m4n2_1d

在给定矩阵中找到最佳的2:4模式。

mn_1d_best

在给定的矩阵中找到最佳的m:n模式。

reshape_1d

将给定的矩阵重塑为m维向量:(h,w) -> (hw/m, m)。

class MagnitudeSearcher

基础类: BaseSparseSearcher

基于幅度的稀疏性搜索器。

compute_valid_1d_patterns(m, n)

计算一维向量中所有可能的m:n模式。

该函数生成一个大小为m的张量,其中包含n个1和(m-n)个0。 然后生成该张量的所有排列,去除重复项, 并将唯一的模式作为张量返回。

create_asp_mask(tensor, pattern)

根据指定的稀疏模式为给定张量创建掩码。

该函数重塑张量并应用指定的模式以创建稀疏掩码。 默认模式是m4n2_1d,它在张量中找到最佳的2:4稀疏模式。

Parameters:
  • 张量 (参数) –

  • pattern (str) –

Return type:

BoolTensor

fill(x)

计算张量中非零元素的比例。

get_nmprune_info(pattern)

从给定的字符串中获取n:m稀疏模式信息。

Parameters:

pattern (str) –

Return type:

元组[布尔, 整数, 整数]

m4n2_1d(mat)

在给定矩阵中找到最佳的2:4模式。

mn_1d_best(matrix, m, n)

在给定的矩阵中找到最佳的m:n模式。

该函数计算所有可能的m:n模式,并选择使矩阵中非掩码权重的总和最大化的模式。然后使用所选模式为矩阵创建掩码。

reshape_1d(matrix, m)

将给定的矩阵重塑为m维向量:(h,w) -> (hw/m, m)。