MetisAnchorTokenizer

class MetisAnchorTokenizer(num_partitions: int = 2, device: str | device | None = None, **kwargs)[来源]

基础类：AnchorTokenizer

一个锚点分词器，首先使用METIS对图进行分区。

我们使用torch_sparse的绑定。METIS图分割算法在这里描述： http://glaros.dtc.umn.edu/gkhome/metis/metis/overview

初始化分词器。

Parameters:

  • num_partitions (int) – 通过Metis获得的分区数量。

  • device (str | device | None) – 用于标记化的设备

  • kwargs – 传递给 AnchorTokenizer.__init__() 的额外基于关键字的参数。请注意，每个分区将有一个锚定分词器，即词汇量将相应增加。

方法总结

__call__(mapped_triples, num_tokens, ...)

对给定三元组中包含的实体进行标记化。

方法文档

__call__(mapped_triples: Tensor, num_tokens: int, num_entities: int, num_relations: int) → tuple[int, Tensor][来源]

对给定三元组中包含的实体进行标记化。

Parameters:

  • mapped_triples (Tensor) – 形状: (n, 3) 基于ID的三元组

  • num_tokens (int) – 为每个实体选择的令牌数量

  • num_entities (int) – 实体的数量

  • num_relations (int) – 关系的数量

Returns:

形状: (num_entities, num_tokens), -1 <= res < vocabulary_size 每个实体选择的关系ID。-1用作填充标记。

Return type:

tuple[int, Tensor]