torcharrow.functional.add_tokens¶

torcharrow.functional.add_tokens(input_col: Union[ListColumn, List[Union[str, int]]], tokens: Union[ListColumn, List[Union[str, int]]], begin: bool) → NumericalColumn¶

在列中追加或前置一系列标记/索引。这是一个常见的操作，用于向文本添加EOS和BOS标记。

Parameters:

input_col (输入标记/索引的列表) –
tokens (要附加或前置的标记/索引列表) –
begin (布尔值，用于确定是前置还是追加tokens/indices) –

示例

>>> import torcharrow as ta
>>> from torcharrow import functional
>>> a = ta.column([[1, 2], [3, 4, 5]])
>>> functional.add_tokens(a, [0], begin=True)
0  [0, 1, 2]
1  [0, 3, 4, 5]
dtype: List(Int64(nullable=True), nullable=True), length: 2, null_count: 0