unified_export_hf
用于部署量化的Hugging Face模型的代码。
函数
将torch模型导出为统一的检查点并保存到export_dir。 |
- export_hf_checkpoint(model, dtype=None, export_dir='/tmp')
将torch模型导出为统一的检查点并保存到export_dir。
- Parameters:
model (Module) – 火炬模型。
dtype (dtype | None) – 导出未量化层的权重数据类型，如果为None，则为默认模型数据类型。
export_dir (Path | str) – 目标导出路径。