SpeechBrain 基础

🔗 SpeechBrain 简介

Ravanelli M.

2021年2月

难度:简单

时间:10分钟

🔗 Google Colab

SpeechBrain 是一个基于 PyTorch 的开源一体化语音工具包。 它旨在使语音技术的研究和开发更加容易。除了我们的文档外, 本教程将为您提供开始使用 SpeechBrain 进行项目所需的所有基本元素。

🔗 我可以用SpeechBrain做什么?

Ravanelli M.

2021年1月

难度:简单

时间:10分钟

🔗 Google Colab

在本教程中,我们提供了SpeechBrain当前支持的语音任务的高级描述。 我们还展示了如何在语音识别、语音分离、说话人验证和其他应用上执行推理。

🔗 大脑类

普兰廷加 P.

2021年1月

难度:简单

时间:10分钟

🔗 Google Colab

深度学习的一个关键组成部分是多次迭代数据集并执行参数更新。 这个过程有时被称为“训练循环”,通常这个循环有许多阶段。

SpeechBrain 提供了一个方便的框架来组织训练循环,形式为一个称为“Brain”类的类,在 speechbrain/core.py 中实现。在每个配方中,我们子类化这个类并覆盖那些默认实现不符合该特定配方要求的方法。

🔗 HyperPyYAML 教程

普兰廷加 P.

2021年1月

难度:简单

时间:15分钟

🔗 Google Colab

任何深度学习流程的一个重要部分是超参数和其他元数据的定义。 这些数据与深度学习算法一起控制流程的各个方面, 例如模型架构、训练和解码。

在SpeechBrain,我们决定超参数和学习算法之间的区别应该在我们工具包的结构中显而易见,因此我们将我们的配方分为两个主要文件:train.pyhyperparams.yamlhyperparams.yaml 文件采用SpeechBrain开发的格式,我们称之为“HyperPyYAML”。我们选择扩展YAML,因为它是一种高度可读的数据序列化格式。通过扩展一个已经非常有用的格式,我们能够创建一个扩展的超参数定义,保持我们实际的实验代码简洁且高度可读。

🔗 数据加载

Cornell S. & Rouhe A.

2021年1月

难度:中等

时间:20分钟

🔗 Google Colab

设置一个高效的数据加载管道通常是一项繁琐的任务,涉及创建示例、定义你的 torch.utils.data.Dataset 类以及不同的数据采样和增强策略。在 SpeechBrain 中,我们提供了高效的抽象来简化这一耗时的过程,而不会牺牲灵活性。事实上,我们的数据管道是围绕 Pytorch 构建的。

🔗 检查点

Rouhe A.

2021年2月

难度:简单

时间:15分钟

🔗 Google Colab

通过检查点,我们指的是在特定时间点保存模型和所有其他必要的状态信息(如优化器参数、哪个时期和哪个迭代)。