ort_utils

提供基本的ORT推理工具，应被modelopt.torch.ort_client替换。

函数

configure_ort	配置和修补ORT以支持ModelOpt ONNX量化。
create_inference_session	创建一个ORT推理会话。
get_quantizable_op_types	返回一组可量化的操作类型。

configure_ort(op_types, op_types_to_quantize, trt_extra_plugin_lib_paths=None, calibration_eps=None)

配置和修补ORT以支持ModelOpt ONNX量化。

Parameters:

• op_types (List[str]) –

• op_types_to_quantize (List[str]) –

• trt_extra_plugin_lib_paths (str) –

• calibration_eps (List[str]) –

create_inference_session(onnx_path_or_model, calibration_eps)

创建一个ORT推理会话。

Parameters:

• onnx_path_or_model (str | bytes) –

• calibration_eps (List[str]) –

get_quantizable_op_types(op_types_to_quantize)

返回一组可量化的操作类型。

注意。此函数应在调用一次quantize._configure_ort()后调用。 此函数返回用户提供的参数中的可量化操作类型， 或来自modelopt.onnx的默认可量化操作设置。

Parameters:

op_types_to_quantize (List[str]) –

Return type:

列表[字符串]