TorchPrecomputedTokenizerLoader

class TorchPrecomputedTokenizerLoader

基础类：PrecomputedTokenizerLoader

通过torch.load的加载器。

方法总结

__call__(路径)	从给定路径加载分词。
save(路径, 顺序, 锚点ID)	将分词保存到路径。

方法文档

__call__(path: Path) → tuple[Mapping[int, Collection[int]], int]

从给定路径加载分词。

Parameters:

路径 (Path)

Return type:

tuple[Mapping[int, Collection[int]], int]

static save(path: Path, order: ndarray, anchor_ids: ndarray) → None

将分词保存到路径。

Parameters:

• path (Path) – 输出路径

• order (ndarray) – 形状: (num_entities, num_anchors) 每个实体的排序后的anchor_ids的id

• anchor_ids (ndarray) – 形状: (num_anchors,) 锚点实体ID

Return type:

无