LoRALinear¶
- class torchtune.modules.peft.LoRALinear(in_dim: int, out_dim: int, rank: int, alpha: float, dropout: float = 0.0, use_bias: bool = False, quantize_base: bool = False, **quantization_kwargs)[source]¶
LoRA线性层，如LoRA: Low-Rank Adaptation of Large Language Models中介绍的。
LoRA通过低秩近似扰动给定层，其中只有秩分解矩阵是可训练的。在线性层中，LoRALinear层被定义为\(x \mapsto W_0x + (\alpha / r)BAx\)，而不是\(x \mapsto W_0x\)，其中\(r\)是矩阵\(A\)和\(B\)的秩，\(\alpha\)是一个缩放因子。与原始实现一样，我们支持在乘以低秩矩阵之前进行dropout。
- Parameters:
in_dim (int) – 输入维度
out_dim (int) – 输出维度
rank (int) – 低秩近似的秩
alpha (float) – 低秩近似的缩放因子
dropout (float) – dropout概率。默认值：0.0
use_bias (bool) – 是否在原始线性层中包含偏置。 默认值：False
quantize_base (bool) – 是否量化基础线性权重。 默认值：False
**quantization_kwargs – 在量化基础线性权重时传递给 to_nf4 的关键字参数。 有效参数的示例包括 block_size 和 scaler_block_size，它们分别控制权重量化和缩放量化的粒度。仅在 quantize_base 为 True 时使用。 默认值为 None
- Raises:
ValueError – 如果
quantize_base为 False，但提供了量化参数。
- adapter_params() List[str][source]¶
返回一个字符串列表，对应于来自适配器的模型中的
nn.Parameter的名称。对于LoRA来说，这意味着lora_a.weight和lora_b.weight。
- forward(x: Tensor) Tensor[source]¶
- Parameters:
x (torch.Tensor) – 输入张量，形状为
(..., in_dim)- Returns:
输出张量，形状为
(..., out_dim)- Return type:
