文本完成数据集

class torchtune.datasets.TextCompletionDataset(tokenizer: ModelTokenizer, source: str, column: str = 'text', add_eos: bool = True, filter_fn: Optional[Callable] = None, **load_dataset_kwargs: Dict[str, Any])

适用于任何非结构化文本语料库的自由形式数据集。快速加载来自Hugging Face或本地磁盘的任何数据集，并为其进行标记化以供模型使用。

Parameters:

• tokenizer (ModelTokenizer) – 模型使用的分词器，实现了tokenize_messages方法。

• source (str) – Hugging Face 上数据集仓库的路径。对于本地数据集， 将 source 定义为数据文件类型（例如“json”、“csv”、“text”），并在 data_files 中传递文件路径。有关更多详细信息，请参阅 Hugging Face 的 load_dataset (https://huggingface.co/docs/datasets/en/package_reference/loading_methods#datasets.load_dataset.path)。

• column (str) – 样本中包含文本数据的列名。这通常是Hugging Face数据集或表格数据所必需的。对于只有单列的本地数据集（例如非结构化的txt文件），使用默认的“text”，这是Hugging Face数据集加载到内存时使用的默认值。默认值为“text”。

• add_eos (bool) – 是否在序列末尾添加一个EOS标记。默认值为True。

• filter_fn (可选[Callable]) – 用于在预处理之前过滤数据集的可调用对象。有关更多详细信息，请参阅Hugging Face的文档。

• **load_dataset_kwargs (Dict[str, Any]) – 传递给 load_dataset 的额外关键字参数。有关更多详细信息，请参阅 Hugging Face 的 API 参考。