wikitext_dataset

torchtune.datasets.wikitext_dataset(tokenizer: ModelTokenizer, source: str = 'EleutherAI/wikitext_document_level', subset: str = 'wikitext-103-v1', max_seq_len: Optional[int] = None, packed: bool = False, filter_fn: Optional[Callable] = None, split: str = 'train', **load_dataset_kwargs: Dict[str, Any]) → Union[TextCompletionDataset, PackedDataset]

支持类似于wikitext的数据集家族， 这是一个由维基百科全文组成的非结构化文本语料库。

Parameters:

• tokenizer (ModelTokenizer) – 模型使用的分词器，实现了tokenize_messages方法。

• source (str) – Hugging Face 上数据集仓库的路径。对于本地数据集， 将 source 定义为数据文件类型（例如“json”、“csv”、“text”），并在 data_files 中传递文件路径。有关更多详细信息，请参阅 Hugging Face 的 load_dataset (https://huggingface.co/docs/datasets/en/package_reference/loading_methods#datasets.load_dataset.path)。

• subset (str) – 要使用的数据子集的名称，请参阅wikitext页面以获取可用的子集。默认值为"wikitext-103-v1"。

• max_seq_len (可选[int]) – 返回的输入和标签标记ID列表中的最大标记数。 默认值为None，表示禁用截断。我们建议将其设置为内存中可以容纳的最高值，并且模型支持的值。例如，llama2-7B支持的最大序列长度为4096。

• packed (bool) – 是否在训练前将数据集打包到max_seq_len。默认值为False。

• filter_fn (可选[Callable]) – 用于在预处理之前过滤数据集的可调用对象。有关更多详细信息，请参阅Hugging Face的文档。

• split (str) – split 参数用于 datasets.load_dataset。您可以使用此参数加载给定拆分的子集，例如 split="train[:10%]"。默认值为“train”。

• **load_dataset_kwargs (Dict[str, Any]) – 传递给 load_dataset 的额外关键字参数。

Returns:

配置的 TextCompletionDataset

或 PackedDataset 如果 packed=True

Return type:

联合[TextCompletionDataset, PackedDataset]