lora_llama3_2_vision_11b¶
- torchtune.models.llama3_2_vision.lora_llama3_2_vision_11b(lora_attn_modules: List[Literal['q_proj', 'k_proj', 'v_proj', 'output_proj']], decoder_trainable: str = 'frozen', encoder_trainable: str = 'lora', fusion_trainable: str = 'lora', apply_lora_to_mlp: bool = False, apply_lora_to_output: bool = False, lora_rank: int = 8, lora_alpha: float = 16, lora_dropout: float = 0.0, use_dora: bool = False, quantize_base: bool = False, image_size: int = 560) DeepFusionModel[source]¶
返回一个Llama3.2视觉版本（
DeepFusionModel()的实例），根据传入的配置应用LoRA。- Parameters:
lora_attn_modules (List[LORA_ATTN_MODULES]) – 列出在每个自注意力块中LoRA应应用于哪些线性层。选项是
{"q_proj", "k_proj", "v_proj", "output_proj"}。decoder_trainable (str) – 选项用于设置解码器参数为完全可训练（full）、lora可训练（lora）或冻结（frozen）。默认值为“frozen”。
encoder_trainable (str) – 选项用于设置编码器参数为完全可训练（full）、lora可训练（lora）或冻结（frozen）。默认值为“lora”。
fusion_trainable (str) – 选项用于将融合参数设置为完全可训练（full）、lora可训练（lora）或冻结（frozen）。默认值为“lora”。
apply_lora_to_mlp (bool) – 是否在每个transformer层的MLP中应用LoRA。 默认值：False
apply_lora_to_output (bool) – 是否将LoRA应用于模型的最终输出投影。 默认值：False
lora_rank (int) – 每个低秩近似的秩
lora_alpha (float) – 低秩近似的缩放因子
lora_dropout (float) – LoRA 丢弃概率。默认值：0.0
quantize_base – (bool): 是否量化基础模型权重。仅应用于线性层中LoRA应用的基础权重。目前不支持对最终输出线性投影进行量化。
image_size (int) – 基础图像大小，图像将被平铺并调整为此大小。 默认值为560用于Instruct权重，使用448用于预训练。
- Returns:
使用LoRA实例化Llama3.2视觉模型，应用于每层注意力投影的子集。
- Return type:
