Logo

入门指南

  • 快速安装
    • 通过 PyPI 安装
    • 本地安装
    • 测试安装
    • 操作系统
    • 设置Conda环境/虚拟环境
      • Conda
    • venv setup
    • 测试你的GPU安装
  • 运行实验
    • YAML 基础
      • 安全警告
      • 功能
    • 运行参数
    • 张量格式
    • 修改了PyTorch全局变量和GPU的异常行为
    • 可重复性
  • 项目结构与生态系统
    • 目录结构
    • 外部平台
    • 测试基础设施
  • Contributing

教程笔记本

  • SpeechBrain 基础
    • SpeechBrain 简介
      • 动机
      • 支持的技术
      • 安装
        • 本地安装（Git克隆）
      • 运行实验
      • 使用YAML进行超参数规范
      • 实验文件
        • 数据规范
        • 数据处理管道
        • 自定义前向和成本计算方法
        • Brain Class
      • 预训练和使用
      • 文件夹组织
      • Tensor Format
      • 引用SpeechBrain
    • 我可以用SpeechBrain做什么？
      • 不同语言的语音识别
        • English
        • 法语
        • 意大利语
        • 普通话
        • Kinyarwanda
      • 语音分离
      • 语音增强
      • 说话人验证
      • 语音合成（文本转语音）
      • 引用SpeechBrain
    • The Brain Class
      • 传递给Brain类的参数
        • modules 参数
        • opt_class 参数
        • hparams 参数
        • run_opts 参数
        • checkpointer 参数
      • The fit() 方法
        • Fit structure
        • make_dataloader
        • on_fit_start
        • on_stage_start
        • 训练循环
        • on_stage_end
        • 验证循环
        • on_stage_end
      • The evaluate() 方法
      • 结论
      • 引用SpeechBrain
    • HyperPyYAML 教程
      • 基本YAML语法
      • 标签 !new: 和 !name:
      • 标签 !ref 和 !copy
      • 其他标签
      • 覆盖
      • 结论
      • 引用SpeechBrain
    • 数据加载
      • 安装依赖项
      • 前言：PyTorch 数据加载管道
        • 概述
        • Dataset
        • 排序函数
        • Sampler
        • DataLoader
      • SpeechBrain 基础数据IO
        • 数据集标注
        • DynamicItemDataset
        • 动态项目管道 (DIPs)
        • CategoricalEncoder
        • PaddedBatch and SaveableDataLoader
      • 完整示例：训练一个简单的说话人识别系统。
      • Acknowledgements
      • 引用SpeechBrain
    • 检查点
      • SpeechBrain检查点程序的作用
      • 安装依赖项
      • 简而言之，SpeechBrain检查点
      • 检查点是什么样子的？
        • 每个文件中包含什么内容？
        • Meta info
      • 保留有限数量的检查点
        • 预训练 / 参数迁移
        • 寻找最佳检查点
        • 传递参数
        • 编排传输
      • 引用SpeechBrain
  • SpeechBrain 高级版
    • 性能分析
      • 安装
      • 调用分析器
      • 使用tensorboard可视化日志
      • 引用SpeechBrain
    • 动态批处理：它是什么以及为什么有时是必要的
      • SpeechBrain DynamicBatchSampler 类
        • 使用 speechbrain.dataio.samplers.DynamicBatchSampler
        • 高级参数：完全控制随机性、训练速度和VRAM消耗。
      • 如何使用DynamicBatchSampler找到好的超参数并加速训练
        • 使用Web数据集的动态批处理
      • Acknowledgements
      • 引用SpeechBrain
    • 超参数优化
      • 先决条件
        • 导入
        • 安装 SpeechBrain
        • 依赖修复
        • 安装Oríon
      • 更新配方以支持超参数优化
      • 执行超参数搜索
        • 选择并准备超参数
        • 配置Orion
        • 定义搜索空间
      • 检查结果
      • 大规模超参数优化
        • 多GPU
        • 并行或分布式Oríon
      • 引用SpeechBrain
    • Federated Speech Model Training via Flower and SpeechBrain
      • 安装
      • 你的实验需要哪些步骤？
      • 集成细节 — 将SpeechBrain与Flower耦合
        • 定义一个Brain类
        • 初始化Brain类和数据集
        • 定义一个SpeechBrain客户端
        • 在服务器端定义一个花策略
      • 运行实验
      • 引用SpeechBrain
    • 推断您训练好的SpeechBrain模型
      • 先决条件
      • 上下文
      • 可用的不同选项
        • 1. 训练脚本中的自定义函数
        • 2. 使用EndoderDecoderASR接口
        • 3. 开发你自己的推理接口
      • 通用预训练推理
      • 引用SpeechBrain
    • 使用HuggingFace进行预训练模型和微调
      • 先决条件
      • 安装依赖项
      • 使用预训练模型对您的数据进行推理
        • 自动语音识别
        • 说话人验证、识别和分割
        • 源分离
      • 微调或使用预训练模型作为新管道的组件
        • 设置数据管道
        • 微调ASR模型
      • Pretrainer 类
      • Acknowledgements
      • 引用SpeechBrain
    • 大数据集和共享文件系统的数据加载
      • 什么是WebDataset？
      • 安装依赖项
      • 创建TAR分片
        • 下载一些数据
        • 遍历数据
      • WebDataset with SpeechBrain
        • 训练数据加载管道中的一些更改
        • 更复杂的数据加载管道
        • 如何处理DataLoader
      • 引用SpeechBrain
    • 文本分词
      • 为什么我们需要分词？
      • 在SpeechBrain中训练sentencepiece分词器
        • 高级参数
      • 在SpeechBrain中加载预训练的句子片段分词器
      • 如何使用sentencepiece
      • 使用SpeechBrain SentencePiece与Pytorch
        • 选项1的示例
        • 选项2的示例
      • 引用SpeechBrain
    • 将量化应用于语音识别模型
      • 量化简介
      • 量化方法
        • 动态量化
        • 静态量化
        • 比较动态和静态量化
      • 教程目的
      • 先决条件
        • 安装 SpeechBrain
        • 安装其他依赖项
        • 导入
        • 模型选择
        • 数据下载和预处理
      • 量化设置
        • 实用函数
        • 静态量化封装器
        • 量化函数
      • 基准测试设置
        • WER
        • Modify EncoderASR transcribe_batch
        • 基准模型性能
      • 量化和基准测试
        • 选择数据
        • 原始模型
        • 量化模型
      • 引用SpeechBrain
  • 语音预处理
    • 语音增强
      • 1. 速度扰动
      • 2. 时间丢弃
      • 3. 频率丢弃
      • 4. 裁剪
      • 5. 增强组合
      • 参考文献
      • 引用SpeechBrain
    • 傅里叶变换和频谱图
      • 1. 傅里叶变换
        • 直觉是什么？
      • 2. 短时傅里叶变换 (STFT)
      • 3. 频谱图
      • 参考文献
      • 引用SpeechBrain
    • 语音特征
      • 1. 滤波器组 (FBANKs)
      • 2. 梅尔频率倒谱系数 (MFCCs)
      • 3. 上下文信息
        • 3.1 导数
        • 3.2 上下文窗口
      • 4. 其他功能
      • 参考文献
      • 引用SpeechBrain
    • 环境腐败
      • 1. 加性噪声
      • 2. 混响
      • 参考文献
      • 引用SpeechBrain
    • 多麦克风波束成形
      • 介绍
        • 传播模型
        • 协方差矩阵
        • 到达时间差
        • 到达方向
        • 波束成形
      • 安装 SpeechBrain
      • 准备音频
      • Processing
        • 带有相位变换的导向响应功率
        • 多重信号分类
        • 延迟求和波束成形
        • 最小方差无失真响应
        • 广义特征值波束成形
      • 引用SpeechBrain
  • 语音处理任务
    • 从零开始的语音识别
      • 语音识别概述
        • Connectionist Temporal Classification (CTC)
        • 传感器
        • 带注意力的编码器-解码器 👂
        • Beamsearch
      • 安装
      • 需要哪些步骤？
        • 1. 准备您的数据
        • 2. 训练一个分词器
        • 3. 训练一个语言模型
        • 4. 训练语音识别器
        • 5. 使用语音识别器（推理）
      • 第一步：准备您的数据
        • 数据清单文件
        • 准备脚本
        • 复制您的数据到本地
      • 第二步：分词器
        • 使用字符作为标记
        • 使用单词作为标记
        • 字节对编码 (BPE) 令牌
        • 训练一个分词器
      • 第三步：训练语言模型
        • 文本语料库
        • 训练一个语言模型
        • 超参数
        • 实验文件
        • 步骤4：训练基于注意力的端到端语音识别器
        • 训练语音识别器
        • 超参数
        • 实验文件
        • 为什么使用相对长度而不是绝对长度？
        • 其他方法
      • 预训练和微调
      • 第五步：推理
        • 利用您的自定义语音识别器
      • 自定义您的语音识别器
        • 使用您的数据进行训练
        • 使用您自己的模型进行训练
      • 结论
      • 相关教程
      • 引用SpeechBrain
    • 语音识别的指标
      • 单词错误率 (WER)
      • 字符错误率 (CER)
      • 词性错误率 (POSER)
        • dPOSER
        • uPOSER
      • Lemma Error Rate (LER)
      • 嵌入错误率 (EmbER)
      • BERTScore
      • 句子语义距离：SemDist
      • 一些比较
      • 引用SpeechBrain
    • 源分离
      • 介绍
      • 一个玩具示例
      • 练习
      • 一个使用speechbrain中预训练模型的声源分离示例
      • 引用SpeechBrain
    • 从零开始的语音增强
      • Train.py中的配方概览
      • 引用SpeechBrain
    • 从零开始的语音分类
      • 模型
      • 数据
      • Code
      • 安装
      • 需要哪些步骤？
      • 第一步：准备你的数据
        • 数据清单文件
        • 准备脚本
        • 本地复制您的数据
      • 第二步：训练分类器
        • 训练一个说话人识别模型
        • 超参数
        • 实验文件
      • 第三步：推理
        • 在您的模型上使用EncoderClassifier接口
      • 扩展到不同任务
        • 使用您的数据在您的任务上进行训练
        • 使用您自己的模型进行训练
      • 结论
      • 相关教程
      • 引用SpeechBrain
    • 语音活动检测
      • VAD 有什么用？
      • 为什么具有挑战性？
      • Pipeline描述
      • 培训
      • 推理
      • 推理管道（详情）
        • 1- 后验计算
        • 2- 应用阈值
        • 3- 获取边界
        • 4- 基于能量的语音活动检测（可选）
        • 5- 合并接近的段
        • 6- 移除短片段
        • 7- 双重检查语音片段（可选）
      • 可视化
      • 附录：关于使用基于能量的VAD
      • 引用SpeechBrain
  • 神经架构
    • 使用SpeechBrain和HuggingFace微调或使用Whisper、wav2vec2、HuBERT等
      • 先决条件
      • Wav2Vec 2.0 和 HuggingFace 的 Whisper
      • Wav2Vec 2.0 和 Whisper 编码器作为您管道的一个模块（ASR, TIMIT）
        • 理解yaml参数。
      • 使用Whisper作为完全预训练的编码器-解码器
      • 引用SpeechBrain
    • 用于更快低内存微调的神经网络适配器
      • 先决条件
      • 介绍与背景
        • 相关参考文献
      • 太长不看
      • 详细教程
      • 推理
      • 添加适配器
      • 训练适应模型
      • 自定义适配器
      • 结论
      • 引用SpeechBrain
    • 复杂和四元数神经网络
      • 先决条件
      • 介绍与背景
        • 连接到神经网络：
        • 相关参考文献
      • SpeechBrain 复数和四元数的表示
      • 复数和四元数乘积
      • 复值神经网络
        • 卷积层
        • 线性层
        • 归一化层
        • 循环神经网络
      • 四元数神经网络
        • 四元数旋量神经网络
        • 将四元数层转换为旋量层
      • 把所有东西放在一起！
      • 引用SpeechBrain
    • 循环神经网络
      • 1. 普通RNN
      • 2. 长短期记忆 (LSTM)
      • 3. 门控循环单元 (GRUs)
      • 4. 光门控循环单元 (LiGRU)
      • 引用SpeechBrain
    • 使用Conformers进行流式语音识别
      • 推荐先决条件
        • 安装 SpeechBrain
      • 流式模型需要实现的目标
        • 教程摘要
      • Conformer的架构变化
        • 分块注意力
        • 动态块卷积
        • 我们不改变的内容
      • 训练策略和动态块训练
        • 块大小和左上下文大小影响哪些指标？
        • 如何选择块大小？
        • 损失函数
      • 培训：使用SpeechBrain将所有内容整合在一起
        • 通过传递动态分块训练配置进行自动掩码
        • 对.yaml的更改
        • 对train.py的更改
      • 调试流式架构
        • 检测神经网络层中的未来依赖关系
      • 推理：血腥的细节
        • 为推理封装特征提取器
        • 流式上下文对象
        • 流式转发方法
        • 流式分词器
        • Streaming transducer Greedy Search
      • 推理：使用StreamingASR的实际示例
        • 从训练好的模型到StreamingASR超参数
        • 使用StreamingASR进行推理
        • ffmpeg 直播功能
        • 手动转录块
      • 替代方案和进一步阅读
      • 引用SpeechBrain

提示与技巧

  • 音频加载故障排除
    • 介绍
    • 推荐的安装步骤
    • 开发者注意事项 & 破坏性torchaudio 2.x更改
    • 安装/故障排除后端
      • ffmpeg
      • SoundFile
      • SoX
  • 多GPU基础
    • 使用分布式数据并行（DDP）进行多GPU训练
      • 在SpeechBrain中编写DDP安全代码
      • 单节点设置
      • 多节点设置
        • 基础与手动多节点设置
        • 使用Slurm的多节点设置
    • (已弃用) 使用数据并行的单节点多GPU训练

API

  • 核心库 (speechbrain)
    • speechbrain.core 模块
      • 摘要
      • 参考
        • AMPConfig
        • create_experiment_directory()
        • parse_arguments()
        • Stage
        • Brain
    • speechbrain.alignment
      • speechbrain.alignment.aligner 模块
        • 摘要
        • 参考
      • speechbrain.alignment.ctc_segmentation 模块
        • 摘要
        • 参考
    • speechbrain.augment
      • speechbrain.augment.augmenter 模块
        • 摘要
        • 参考
      • speechbrain.augment.codec 模块
        • 摘要
        • 参考
      • speechbrain.augment.freq_domain 模块
        • 摘要
        • 参考
      • speechbrain.augment.preparation 模块
        • 摘要
        • 参考
      • speechbrain.augment.time_domain 模块
        • 摘要
        • 参考
    • speechbrain.dataio
      • speechbrain.dataio.batch 模块
        • 摘要
        • 参考
      • speechbrain.dataio.dataio 模块
        • 摘要
        • 参考
      • speechbrain.dataio.dataloader 模块
        • 摘要
        • 参考
      • speechbrain.dataio.dataset 模块
        • 摘要
        • 参考
      • speechbrain.dataio.encoder 模块
        • 摘要
        • 参考
      • speechbrain.dataio.iterators 模块
        • 摘要
        • 参考
      • speechbrain.dataio.legacy 模块
        • 摘要
        • 参考
      • speechbrain.dataio.preprocess 模块
        • 摘要
        • 参考
      • speechbrain.dataio.sampler 模块
        • 摘要
        • 参考
      • speechbrain.dataio.wer 模块
        • 摘要
        • 参考
    • speechbrain.decoders
      • speechbrain.decoders.ctc 模块
        • 摘要
        • 参考
      • speechbrain.decoders.language_model 模块
        • 摘要
        • 参考
      • speechbrain.decoders.scorer 模块
        • 摘要
        • 参考
      • speechbrain.decoders.seq2seq 模块
        • 摘要
        • 参考
      • speechbrain.decoders.transducer 模块
        • 摘要
        • 参考
      • speechbrain.decoders.utils 模块
        • 摘要
        • 参考
    • speechbrain.inference
      • speechbrain.inference.ASR module
        • 摘要
        • 参考
      • speechbrain.inference.SLU 模块
        • 摘要
        • 参考
      • speechbrain.inference.ST 模块
        • 摘要
        • 参考
      • speechbrain.inference.TTS 模块
        • 摘要
        • 参考
      • speechbrain.inference.VAD 模块
        • 摘要
        • 参考
      • speechbrain.inference.classifiers 模块
        • 摘要
        • 参考
      • speechbrain.inference.diarization 模块
        • 摘要
        • 参考
      • speechbrain.inference.encoders 模块
        • 摘要
        • 参考
      • speechbrain.inference.enhancement 模块
        • 摘要
        • 参考
      • speechbrain.inference.interfaces 模块
        • 摘要
        • 参考
      • speechbrain.inference.interpretability 模块
        • 摘要
        • 参考
      • speechbrain.inference.metrics 模块
        • 摘要
        • 参考
      • speechbrain.inference.separation 模块
        • 摘要
        • 参考
      • speechbrain.inference.speaker 模块
        • 摘要
        • 参考
      • speechbrain.inference.text 模块
        • 摘要
        • 参考
      • speechbrain.inference.vocoders 模块
        • 摘要
        • 参考
    • speechbrain.k2_integration
      • speechbrain.k2_integration.graph_compiler 模块
        • 摘要
        • 参考
      • speechbrain.k2_integration.lattice_decoder 模块
        • 摘要
        • 参考
      • speechbrain.k2_integration.lexicon 模块
        • 摘要
        • 参考
      • speechbrain.k2_integration.losses 模块
        • 摘要
        • 参考
      • speechbrain.k2_integration.prepare_lang 模块
        • 摘要
        • 参考
      • speechbrain.k2_integration.utils 模块
        • 摘要
        • 参考
    • speechbrain.lm
      • speechbrain.lm.arpa 模块
        • 摘要
        • 参考
      • speechbrain.lm.counting 模块
        • 摘要
        • 参考
      • speechbrain.lm.ngram 模块
        • 摘要
        • 参考
    • speechbrain.lobes
      • speechbrain.lobes.beamform_multimic 模块
        • 摘要
        • 参考
      • speechbrain.lobes.downsampling 模块
        • 摘要
        • 参考
      • speechbrain.lobes.features 模块
        • 摘要
        • 参考
      • speechbrain.lobes.models
        • speechbrain.lobes.models.BESTRQ 模块
        • speechbrain.lobes.models.CRDNN 模块
        • speechbrain.lobes.models.Cnn14 模块
        • speechbrain.lobes.models.ContextNet 模块
        • speechbrain.lobes.models.DiffWave 模块
        • speechbrain.lobes.models.ECAPA_TDNN 模块
        • speechbrain.lobes.models.ESPnetVGG module
        • speechbrain.lobes.models.EnhanceResnet 模块
        • speechbrain.lobes.models.FastSpeech2 模块
        • speechbrain.lobes.models.HifiGAN 模块
        • speechbrain.lobes.models.L2I 模块
        • speechbrain.lobes.models.MSTacotron2 模块
        • speechbrain.lobes.models.MetricGAN 模块
        • speechbrain.lobes.models.MetricGAN_U 模块
        • speechbrain.lobes.models.PIQ module
        • speechbrain.lobes.models.RNNLM 模块
        • speechbrain.lobes.models.ResNet 模块
        • speechbrain.lobes.models.Tacotron2 模块
        • speechbrain.lobes.models.VanillaNN 模块
        • speechbrain.lobes.models.Xvector 模块
        • speechbrain.lobes.models.beats 模块
        • speechbrain.lobes.models.conv_tasnet 模块
        • speechbrain.lobes.models.convolution 模块
        • speechbrain.lobes.models.dual_path 模块
        • speechbrain.lobes.models.fairseq_wav2vec 模块
        • speechbrain.lobes.models.kmeans 模块
        • speechbrain.lobes.models.resepformer 模块
        • speechbrain.lobes.models.segan_model 模块
        • speechbrain.lobes.models.wav2vec 模块
        • speechbrain.lobes.models.discrete
        • speechbrain.lobes.models.flair
        • speechbrain.lobes.models.g2p
        • speechbrain.lobes.models.huggingface_transformers
        • speechbrain.lobes.models.spacy
        • speechbrain.lobes.models.transformer
    • speechbrain.nnet
      • speechbrain.nnet.CNN module
        • 摘要
        • 参考
      • speechbrain.nnet.RNN 模块
        • 摘要