Galkin预计算分词器加载器

class GalkinPrecomputedTokenizerLoader

基础类：PrecomputedTokenizerLoader

由Galkin 等人提供的pickle文件加载器。

另请参阅

https://github.com/migalkin/NodePiece/blob/9adc57efe302919d017d74fc648f853308cf75fd/download_data.sh https://github.com/migalkin/NodePiece/blob/9adc57efe302919d017d74fc648f853308cf75fd/ogb/download.sh

方法总结

__call__(path)

从给定路径加载分词。

方法文档

__call__(path: Path) → tuple[Mapping[int, Collection[int]], int]

从给定路径加载分词。

Parameters:

路径 (Path)

Return type:

tuple[Mapping[int, Collection[int]], int]