自监督学习

这是ESPnet2中hubert11配方的模板，专为HuBERT风格的自监督学习设计。

与其他方案的差异

ESPnet2提供了两种自监督学习(SSL)的配方：ssl1和hubert1(当前这个)。

hubert1 是 HuBERT 预训练框架下自监督学习的原始实现。该方案涵盖了预训练所需的所有环节，包括K-means伪标签生成和离散标记评估。这对实现可复现性非常重要。但由于HuBERT需要多个离线处理阶段，该实现较为复杂，因此难以针对新训练方法或其他场景进行修改/适配。

我们创建了新的ssl1配方，旨在使代码库面向未来，以适应其他纯端到端的预训练技术，例如DinoSR、SpeechFlow或w2v-BERT。该配方设计易于定制，并能更好地扩展到大规模预训练设置。

注意：ssl1代码库也支持HuBERT预训练，但该配方中未包含创建伪标签的步骤。用户需要运行hubert1配方来获取标签，或自行生成。