截断

torchtune.data.truncate(tokens: List[Any], max_seq_len: int, eos_id: Optional[Any] = None) → List[Any]

将令牌列表截断到最大长度。如果提供了eos_id，最后一个令牌将被替换为eos_id。

Parameters:

• tokens (List[Any]) – 要截断的令牌列表

• max_seq_len (int) – 列表的最大长度

• eos_id (可选[任意]) – 用于替换最后一个标记的标记。如果为None，则不会替换最后一个标记。默认值为None。

Returns:

截断的令牌列表

Return type:

列表[任意类型]