get_position_ids_from_padding_mask¶

torchtune.generation.get_position_ids_from_padding_mask(padding_mask: Tensor)[source]¶

计算位置ID，给定一个填充掩码，该掩码将位置ID右移以从第一个有效标记开始。

Parameters:: padding_mask (torch.Tensor) – 布尔张量，其中False表示序列中的相应标记是填充标记，应在注意力中被屏蔽。形状为 [bsz, seq_len]
Returns:: 根据任何填充值适当移动的位置ID。
Return type:: torch.Tensor

示例

>>> padding_mask = torch.tensor([False, False, False, True, True, True, True, True])
>>> get_position_ids_from_padding_mask(padding_mask)
torch.Tensor([0, 0, 0, 0, 1, 2, 3, 4])