MultiModalPredictor.optimize_for_inference

MultiModalPredictor.optimize_for_inference(providers: dict | List[str] | None = None)

优化预测器模型以进行推理。

在底层，实现会将 PyTorch 模块转换为 ONNX 模块，以便我们可以利用 onnxruntime 中的高效执行提供程序来加速推理。

Parameters:

providers (dict 或 str, 默认=None) –

用于在onnxruntime中进行模型预测的执行提供者列表。

默认情况下，providers参数为None。如果tensorrt包已正确安装，该方法将生成一个ONNX模块，该模块将在onnxruntime中使用TensorrtExecutionProvider执行模型推理。否则，onnxruntime将回退使用CUDA或CPU执行提供者。

Returns:

onnx_module – 基于onnx的模块，可用于替换predictor._model以进行模型推理。

Return type:

Onnx模块