模型概览

本页面概述了当前adapters支持的Transformer模型。下表进一步展示了哪些模型架构支持哪些适配方法以及adapters的哪些功能特性。

注意

每个支持的模型架构X通常会提供一个XAdapterModel类用于AutoAdapterModel。 此外，也可以将适配器与Hugging Face Transformers自带的模型类一起使用。对于这些类，需要通过adapters.init(model)来初始化适配器模型。 例如对于BERT，这意味着adapters提供了一个BertAdapterModel类，但您也可以将BertModel、BertForSequenceClassification等与适配器一起使用。

模型	(瓶颈) 适配器	前缀 调优	LoRA	Compacter	适配器 融合	可逆 适配器	并行 块	提示 调优	ReFT
自定义模型◊	✅		✅	✅	✅	✅		✅	✅
ALBERT	✅	✅	✅	✅	✅	✅	✅	✅	✅
BART	✅	✅	✅	✅	✅	✅	✅		✅
BEIT	✅	✅	✅	✅	✅			✅	✅
BERT-Generation	✅	✅	✅	✅	✅	✅	✅	✅	✅
BERT	✅	✅	✅	✅	✅	✅	✅	✅	✅
CLIP	✅	✅	✅	✅	✅	✅			✅
DeBERTa	✅	✅	✅	✅	✅	✅	✅	✅	✅
DeBERTa-v2	✅	✅	✅	✅	✅	✅	✅	✅	✅
DistilBERT	✅	✅	✅	✅	✅	✅	✅	✅	✅
Electra	✅	✅	✅	✅	✅	✅	✅	✅	✅
Encoder Decoder	(*)	(*)	(*)	(*)	(*)	(*)			(*)
Gemma 2◊	✅		✅	✅	✅	✅			✅
Gemma 3 (文本)◊	✅		✅	✅	✅	✅			✅
GPT-2	✅	✅	✅	✅	✅	✅	✅		✅
GPT-J	✅	✅	✅	✅	✅	✅	✅		✅
Llama Llama 2 Llama 3	✅	✅	✅	✅	✅	✅	✅		✅
MBart	✅	✅	✅	✅	✅	✅	✅		✅
ModernBERT◊	✅		✅	✅	✅	✅			✅
Mistral	✅	✅	✅	✅	✅	✅	✅		✅
MT5	✅	✅	✅	✅	✅	✅	✅		✅
Phi-1 Phi-2◊	✅		✅	✅	✅	✅			✅
PLBart	✅	✅	✅	✅	✅	✅	✅		✅
Qwen2 Qwen2.5 Qwen3 ◊	✅		✅	✅	✅	✅			✅
RoBERTa	✅	✅	✅	✅	✅	✅	✅	✅	✅
T5	✅	✅	✅	✅	✅	✅	✅		✅
ViT	✅	✅	✅	✅	✅	✅	✅	✅	✅
Whisper	✅	✅	✅	✅	✅	✅	✅		✅
XLM-RoBERTa	✅	✅	✅	✅	✅	✅	✅	✅	✅
X-MOD	✅	✅	✅	✅	✅	✅	✅	✅	✅

^◊ 通过插件接口机制支持的模型。original_ln_after=False不支持瓶颈配置。
(*) 如果使用的编码器和解码器模型类受支持。

缺少您想使用的模型架构？
新的模型插件接口只需几行代码即可轻松支持新的transformer模型了解更多。 此外，适配器可以扩展到新的模型架构，如向模型添加适配器中所述。 欢迎随时提交问题请求支持新架构。 我们非常欢迎添加新模型实现的拉取请求！