speechbrain.lobes.models.huggingface_transformers

高级处理模块。

这个子包汇集了更高级别的模块,或称为“叶”用于HuggingFace Transformers。

speechbrain.lobes.models.huggingface_transformers.discrete_ssl

该模块允许集成预训练的离散SSL(hubert、wavlm、wav2vec),用于从SSL层的输出中提取语义标记。

speechbrain.lobes.models.huggingface_transformers.encodec

该模块支持集成huggingface预训练的EnCodec。

speechbrain.lobes.models.huggingface_transformers.gpt

该模块支持集成huggingface预训练的GPT2LMHeadModel模型。

speechbrain.lobes.models.huggingface_transformers.hubert

这个模块允许集成huggingface预训练的hubert模型。

speechbrain.lobes.models.huggingface_transformers.huggingface

这个模块是huggingface transformers模型的接口。它可以通过AutoConfig和AutoModel加载配置和模型。

speechbrain.lobes.models.huggingface_transformers.labse

该模块支持集成huggingface预训练的LaBSE模型。

speechbrain.lobes.models.huggingface_transformers.mbart

该模块支持集成huggingface预训练的mBART模型。

speechbrain.lobes.models.huggingface_transformers.mert

该模块支持集成huggingface预训练的MERT模型,这是一个通过大规模自监督训练的音乐理解模型。

speechbrain.lobes.models.huggingface_transformers.mimi

该模块支持集成huggingface预训练的Mimi。

speechbrain.lobes.models.huggingface_transformers.nllb

该模块支持集成huggingface预训练的NLLB模型。

speechbrain.lobes.models.huggingface_transformers.textencoder

该模块允许集成通用的huggingface预训练文本编码器(例如BERT)。

speechbrain.lobes.models.huggingface_transformers.wav2vec2

这个模块允许集成huggingface预训练的wav2vec2模型。

speechbrain.lobes.models.huggingface_transformers.wavlm

该模块允许集成huggingface预训练的wavlm模型。

speechbrain.lobes.models.huggingface_transformers.weighted_ssl

该模块允许集成huggingface预训练的wav2vec2模型。

speechbrain.lobes.models.huggingface_transformers.whisper

该模块支持集成huggingface预训练的whisper模型。

摘要

参考