解析hf_tokenizer_json¶ torchtune.modules.tokenizers.parse_hf_tokenizer_json(tokenizer_json_path: str) → Dict[str, int][source]¶ 解析来自Hugging Face模型的tokenizer.json文件，以提取特殊令牌字符串到ID的映射。 Parameters: tokenizer_json_path (str) – tokenizer.json 文件的路径。 Returns: 特殊标记字符串到ID的映射。 Return type: 字典[str, int]
