模型校准

校准工具。

函数

max_calibrate

使用max校准模型。

real_quantize

如果提供了additonal_algorithm，则校准模型，然后应用实际量化。

awq

将AWQ应用于模型。

smoothquant

具有每通道权重缩放的Smooth-Quant变体。
awq(model, algorithm='awq_lite', forward_loop=None, **kwargs)

将AWQ应用于模型。

Parameters:

  • 模型 (模块) –

  • algorithm (str) –

  • forward_loop (Callable[[Module], None] | None) –

max_calibrate(model, forward_loop=None)

使用max校准模型。

Parameters:

  • 模型 (模块) –

  • forward_loop (Callable[[Module], None] | None) –

real_quantize(model, forward_loop=None, **kwargs)

如果提供了additonal_algorithm，则校准模型，然后应用实际量化。

Parameters:

  • 模型 (模块) –

  • forward_loop (Callable[[Module], None] | None) –

smoothquant(model, forward_loop=None, alpha=1.0)

具有每通道权重缩放的Smooth-Quant变体。

参数如SmoothQuantCalibConfig中所述。

Parameters:

  • 模型 (模块) –

  • forward_loop (Callable[[Module], None] | None) –