stack_exchange_paired_dataset¶
- torchtune.datasets.stack_exchange_paired_dataset(tokenizer: ModelTokenizer, *, source: str = 'lvwerra/stack-exchange-paired', column_map: Optional[Dict[str, str]] = None, train_on_input: bool = False, filter_fn: Optional[Callable] = None, split: str = 'train', **load_dataset_kwargs: Dict[str, Any]) PreferenceDataset[source]¶
类似于Stack Exchange Paired dataset的偏好数据集家族。
建议使用
QuestionAnswerTemplate配置分词器与此数据集一起使用。- Parameters:
tokenizer (ModelTokenizer) – 模型使用的分词器，实现了
tokenize_messages方法。source (str) – Hugging Face 上数据集仓库的路径。对于本地数据集，将 source 定义为数据文件类型（例如“json”、“csv”、“text”），并在
data_files中传递文件路径。有关更多详细信息，请参阅 Hugging Face 的load_dataset。默认值为lvwerra/stack-exchange-paired。column_map (可选[字典[str, str]]) – 一个映射，用于将预期的“prompt”、“chosen”和“rejected”列名更改为数据集中实际的列名。键应为“prompt”、“chosen”和“rejected”，值应为实际的列名。默认值为None，保留默认列名。
train_on_input (bool) – 模型是否在提示上进行训练。默认值为 False。
filter_fn (可选[Callable]) – 用于在预处理之前过滤数据集的可调用对象。有关更多详细信息，请参阅Hugging Face的文档。
split (str) –
split参数用于datasets.load_dataset。您可以使用此参数加载给定拆分的子集，例如split="train[:10%]"。默认值为“train”。**load_dataset_kwargs (Dict[str, Any]) – 传递给
load_dataset的额外关键字参数。
- Returns:
从源配对数据构建的偏好数据集。
- Return type:
