预计算分词器加载器

class PrecomputedTokenizerLoader[来源]

基类:ABC

预计算标记化的加载器。

方法总结

__call__(路径)

从给定路径加载分词。

方法文档

abstract __call__(path: Path) tuple[Mapping[int, Collection[int]], int][来源]

从给定路径加载分词。

Parameters:

路径 (Path)

Return type:

tuple[Mapping[int, Collection[int]], int]