ESPnet Notebooks
约2分钟
ESPnet 笔记本
演示
ASR (语音识别)
asr_realtime_demo.ipynb: 使用各种预训练模型进行ASR实时推理。asr_transfer_learning_demo.ipynb: 演示如何使用预训练的ASR模型进行微调。streaming_asr_demo.ipynb: 使用预训练模型进行流式语音识别的实时推理。
SE (语音增强/分离)
se_demo.ipynb: 使用各种预训练模型进行语音增强/分离推理。se_demo_for_waspaa_2021.ipynb: ESPnet-SE演示的WASPAA2021版本。
SLU (口语理解)
2pass_slu_demo.ipynb: 双通道口语理解预训练模型示例。
TTS (文本转语音)
tts_realtime_demo.ipynb: 使用各种预训练模型进行TTS实时推理。
其他实用工具
onnx_conversion_demo.ipynb: 如何将ESPnet模型转换为ONNX格式。
ESPnet-EZ
ASR (语音识别)
train_from_scratch.ipynb: 使用ESPnet-EZ在LibriSpeech-100上训练ASR模型。ASR_finetune_owsm.ipynb: 使用ESPnet-EZ在自定义数据集上微调弱监督模型(OWSM)。
ST (Speech-to-text translation)
integrate_huggingface.ipynb: 在MuST-C-v2数据集上，将弱监督模型(OWSM)与huggingface的预训练语言模型集成到ESPnet-EZ中。ST_finetune_owsm.ipynb: 在MuST-C-v2数据集上使用ESPnet-EZ对弱监督模型(OWSM)进行微调。
SLU (口语理解)
SLU_finetune_owsm.ipynb: 在SLURP数据集上使用ESPnet-EZ对弱监督模型(OWSM)进行微调。
TTS (文本转语音)
TTS_finetune_vctk_dump.ipynb: 使用ESPnet-EZ在VCTK数据集上对预训练的VITS模型进行微调。
SVS (歌声合成)
SVS_finetune_ace-kising.ipynb: 使用ESPnet-EZ在ACE-KiSing上对预训练的VISinger 2模型进行微调。
课程
CMU语音处理2023春季课程
assignment0_data-prep.ipynb: 课程作业，关于如何准备ESPnet格式的数据。assignment1_espnet-tutorial.ipynb: 往年新任务教程的简化版本。assignemnt3_spk.ipynb: 使用ESPnet提取说话人嵌入特征并进行说话人识别的示例。assignment4_ssl.ipynb: 探索在ESPnet ASR训练中使用自监督语音表征。assignment5_st.ipynb: Examples of state-of-the-art speech translation models in ESPnet.assignment6_slu.ipynb: ESPnet中最先进的语音理解模型示例。assignment7_se.ipynb: ESPnet中语音增强/分离的最先进示例。assignment8_tts.ipynb: espnet2-tts实时演示的学生版本。s2st_demo.ipynb: An example of existing speech-to-speech translation model for ESPnet.
CMU 语音识别 2022秋季课程
recipe_tutorial.ipynb: ESPnet2配方分阶段讲解的通用教程（包含新功能）。new_task_tutorial.ipynb: 关于如何向ESPnet框架添加新模型/任务的教程。
CMU 语音识别 2021秋季课程
general_tutorial.ipynb: ESPnet2配方分阶段讲解的通用教程。
ESPnet1 (旧版)
asr_library.ipynb: 包含网络训练的语音识别库说明。asr_recipe.ipynb: 语音识别配方说明。pretrained.ipynb: 关于如何使用预训练模型的教程。st_demo.ipynb: Speech translation demonstration with a TTS model to achieve speech-to-speech translation.tts_realtime_demo.ipynb: 使用不同预训练TTS模型进行文本转语音演示。tts_recipe.ipynb: TTS配方的阶段说明。