apply_selective_activation_checkpointing

torchtune.training.apply_selective_activation_checkpointing(model: Module, ac_mode: str, ac_option: Optional[Union[int, str]]) → None

用于设置激活检查点并包装模型以进行检查点的实用程序。

Parameters:

• model (nn.Module) – 用于设置激活检查点的模型。

• ac_mode (str) – 激活检查点模式。['none', 'full', 'selective']

• ac_option (可选[联合[int, str]]) – 激活检查点选项。如果 ac_mode 是 “selective”，ac_option 可以是一个整数或字符串，表示要检查点的层数。 如果 ac_mode 是 “selective” 且 ac_option 是 “op”，则运行选择性操作 ac。 如果 ac_mode 是 “none” 或 “full”，则忽略 ac_option。