llama2_tokenizer¶
- torchtune.models.llama2.llama2_tokenizer(path: str, max_seq_len: Optional[int] = None, prompt_template: Optional[Union[str, Dict[Literal['system', 'user', 'assistant', 'ipython'], Tuple[str, str]]]] = 'torchtune.models.llama2.Llama2ChatTemplate') Llama2Tokenizer[source]¶
Llama2的分词器。
- Parameters:
path (str) – 分词器的路径
max_seq_len (可选[int]) – 用于对单个消息列表进行标记化的最大序列长度，超过此长度后输入将被截断。默认值为 None。
prompt_template (可选[_TemplateType]) – 可选的指定提示模板。 如果是字符串，则假定为
PromptTemplateInterface类的点路径。 如果是字典，则假定为自定义提示模板，将角色映射到前置/后置标签。默认值为Llama2ChatTemplate。
- Returns:
Llama2 分词器的实例化
- Return type:
Llama2Tokenizer
