speechbrain.lobes.models.huggingface_transformers.wavlm 模块

这个模块支持集成huggingface预训练的wavlm模型。

参考: https://arxiv.org/abs/2006.11477 参考: https://arxiv.org/abs/1904.05862 参考: https://arxiv.org/abs/2110.13900 需要安装来自HuggingFace的Transformer: https://huggingface.co/transformers/installation.html

Authors

  • Titouan Parcollet 2021

  • Boumadane Abdelmoumene 2021

  • Ha Nguyen 2023

摘要

类：

WavLM

该模块支持集成HuggingFace和SpeechBrain预训练的WavLM模型。

参考

class speechbrain.lobes.models.huggingface_transformers.wavlm.WavLM(source, save_path, output_norm=False, freeze=False, freeze_feature_extractor=False, apply_spec_augment=False, output_all_hiddens=False)[source]

基础：Wav2Vec2

这个模块支持集成HuggingFace和SpeechBrain预训练的WavLM模型。

源论文 WavLM: https://arxiv.org/abs/2110.13900 需要安装来自 HuggingFace 的 Transformer: https://huggingface.co/transformers/installation.html

该模型可以用作固定的特征提取器，也可以进行微调。它将自动从HuggingFace下载模型或使用本地路径。

目前，HuggingFace的HuBERT和WavLM模型可以使用与Wav2Vec2模型完全相同的代码加载。 因此，HuBERT和WavLM可以很好地继承Wav2Vec2类。

Parameters:

  • source (str) – HuggingFace 中心名称：例如 “microsoft/wavlm-large”

  • save_path (str) – 下载模型的路径（目录）。

  • output_norm (bool (默认值: True)) – 如果为True，将对从wavlm模型获得的输出应用layer_norm（仿射）。

  • freeze (bool (默认值: True)) – 如果为True，模型将被冻结。如果为False，模型将与管道的其余部分一起训练。

  • freeze_feature_extractor (bool (默认值: False)) – 当 freeze = False 且 freeze_feature_extractor 为 True 时，模型的 feature_extractor 模块将被冻结。如果为 False，则整个 wavlm 模型（包括 feature_extractor 模块）都将被训练。

  • apply_spec_augment (bool (默认值: False)) – 如果为True，模型将在特征提取器的输出上应用频谱增强 （在huggingface WavLMModel()类内部）。 如果为False，模型将不会应用频谱增强。我们将其设置为false以防止重复应用。

  • output_all_hiddens (bool (默认值: False)) – 如果为True，前向函数会输出所有transformer层的隐藏状态。 例如，wavlm-base有12个transformer层，输出形状为(13, B, T, C)， 其中CNN输出的投影被添加到开头。 如果为False，前向函数仅输出最后一个transformer层的隐藏状态。

Example

>>> import torch
>>> inputs = torch.rand([10, 600])
>>> model_hub = "microsoft/wavlm-large"
>>> save_path = "savedir"
>>> model = WavLM(model_hub, save_path)
>>> outputs = model(inputs)