speechbrain.tokenizers

定义SentencePiece分词器的包

`speechbrain.tokenizers.SentencePiece`	用于字节对编码（BPE）分词的库。作者 * Abdelwahab Heba 2020 * Loren Lugosch 2020。
`speechbrain.tokenizers.discrete_SSL_tokenizer`	用于语义标记的分词器。