phi3_mini_tokenizer

torchtune.models.phi3.phi3_mini_tokenizer(path: str, special_tokens_path: Optional[str] = None, max_seq_len: Optional[int] = None, prompt_template: Optional[Union[str, Dict[Literal['system', 'user', 'assistant', 'ipython'], Tuple[str, str]]]] = None) → Phi3MiniTokenizer

Phi-3 Mini 分词器。 参考：https://huggingface.co/microsoft/Phi-3-mini-4k-instruct/blob/main/tokenizer_config.json

Parameters:

• path (str) – SPM 分词器模型的路径。

• special_tokens_path (可选[str]) – 指向Hugging Face模型文件中包含所有注册特殊标记的tokenizer.json的路径，或者结构类似的本地json文件。默认为None，使用标准的Phi3特殊标记。

• max_seq_len (可选[int]) – 用于对单个消息列表进行标记化的最大序列长度，超过此长度后输入将被截断。默认值为 None。

• prompt_template (可选[_TemplateType]) – 可选的指定提示模板。 如果是字符串，则假定为 PromptTemplateInterface 类的点路径。 如果是字典，则假定为自定义提示模板，将角色映射到前置/后置标签。

注意

这个分词器包括典型的LM EOS和BOS标记，如、和。然而，为了支持聊天完成，它还增加了特殊标记，如和。

Returns:

SPM 分词器的实例化。

Return type:

Phi3MiniSentencePieceBaseTokenizer