Transformer文本编码器

class TransformerTextEncoder(pretrained_model_name_or_path: str = 'bert-base-cased', max_length: int = 512)

基础类：TextEncoder

分词器和模型的组合。

使用transformers.AutoModel初始化编码器。

Parameters:

• pretrained_model_name_or_path (str) – 预训练模型的名称或路径，参见 transformers.AutoModel.from_pretrained()

• max_length (int) – >0, 默认值: 512 标签填充/修剪的最大标记数

Raises:

ImportError – 如果无法导入 transformers 库

方法总结

forward_normalized(texts)

编码一批文本。

方法文档

forward_normalized(texts: Sequence[str]) → Tensor

编码一批文本。

Parameters:

文本 (Sequence[str]) – 长度: b 文本

Returns:

形状: (b, dim) 文本的编码

Return type:

Tensor