预计算分词器加载器

class PrecomputedTokenizerLoader

基类：ABC

预计算标记化的加载器。

方法总结

__call__(路径)

从给定路径加载分词。

方法文档

abstract __call__(path: Path) → tuple[Mapping[int, Collection[int]], int]

从给定路径加载分词。

Parameters:

路径 (Path)

Return type:

tuple[Mapping[int, Collection[int]], int]