cnn_dailymail_articles_dataset

torchtune.datasets.cnn_dailymail_articles_dataset(tokenizer: ModelTokenizer, source: str = 'ccdv/cnn_dailymail', max_seq_len: Optional[int] = None, filter_fn: Optional[Callable] = None, split: str = 'train', **load_dataset_kwargs: Dict[str, Any]) → TextCompletionDataset

支持类似于CNN / DailyMail的数据集家族，这是一个新闻文章语料库。此构建器仅提取文章，而不提取用于一般文本完成任务的摘要。

Parameters:

• tokenizer (ModelTokenizer) – 模型使用的分词器，实现了tokenize_messages方法。

• source (str) – 数据集的路径字符串，支持Hugging Face的load_dataset (https://huggingface.co/docs/datasets/en/package_reference/loading_methods#datasets.load_dataset.path)

• max_seq_len (可选[int]) – 返回的输入和标签标记ID列表中的最大标记数。 默认值为None，表示禁用截断。我们建议将其设置为内存中可以容纳的最高值，并且模型支持的值。例如，llama2-7B支持的最大序列长度为4096。

• filter_fn (可选[Callable]) – 用于在预处理之前过滤数据集的可调用对象。有关更多详细信息，请参阅Hugging Face的文档。

• split (str) – split 参数用于 datasets.load_dataset。您可以使用此参数加载给定拆分的子集，例如 split="train[:10%]"。默认值为“train”。

• **load_dataset_kwargs (Dict[str, Any]) – 传递给 load_dataset 的额外关键字参数。

Returns:

配置的TextCompletionDataset

Return type:

TextCompletionDataset