Shortcuts

disable_adapter

torchtune.modules.peft.disable_adapter(model: Module) Generator[None, None, None][source]

暂时禁用模型中的适配器。例如,这可以用于DPO中,将LoRA适配器视为策略模型,并禁用它以将基础模型视为参考模型。

此上下文管理器会遍历提供的神经网络模型中的所有模块, 如果模块具有可调用的adapter_params属性和disabled属性, 它会将disabled设置为True。然后,控制权返回给调用者。当退出上下文管理器时, 它会将所有临时禁用的模块的disabled重新设置为False。

Parameters:

model (nn.Module) – 要临时禁用其适配器的模型。

Yields:

None – 此函数将控制权返回给调用者,适配器被禁用。

示例

>>> with disable_adapter(model):
...     # Perform operations with adapters disabled
...     pass