文本编码器

class TextEncoder(*args, **kwargs)[source]

基础类: Module

文本编码器。

初始化内部模块状态,由nn.Module和ScriptModule共享。

方法总结

encode_all(labels[, batch_size])

编码所有标签(推理模式 & 批处理)。

forward(labels)

编码一批文本。

forward_normalized(texts)

编码一批文本。

方法文档

encode_all(labels: Sequence[str], batch_size: int | None = None) Tensor[source]

编码所有标签(推理模式 & 批处理)。

Parameters:
  • labels (Sequence[str]) – 要编码的字符串序列

  • batch_size (int | None) – 用于编码标签的批量大小。batch_size=1 意味着标签是一个一个编码的,而batch_size=len(labels) 则对应于一次性编码所有标签。 较大的批量大小会增加内存需求,但可能在计算上更高效。batch_size 也可以设置为 None 以启用自动批量大小最大化,以适应所使用的硬件。

Returns:

形状: (len(labels), dim) 一个表示所有标签编码的张量

Return type:

Tensor

forward(labels: str | Sequence[str]) Tensor[来源]

编码一批文本。

Parameters:

labels (str | Sequence[str]) – 长度: b 文本内容

Returns:

形状: (b, dim) 文本的编码

Return type:

Tensor

abstract forward_normalized(texts: Sequence[str]) Tensor[source]

编码一批文本。

Parameters:

文本 (Sequence[str]) – 长度: b 文本

Returns:

形状: (b, dim) 文本的编码

Return type:

Tensor