输入输出到消息¶
- class torchtune.data.InputOutputToMessages(train_on_input: bool = False, column_map: Optional[Dict[str, str]] = None, new_system_prompt: Optional[str] = None, image_dir: Optional[Path] = None)[source]¶
消息转换类,将具有“input”和“output”字段(或在column_map中指定的等效字段)的单个样本分别转换为用户和助手消息。这对于具有两列的数据集非常有用,一列包含用户提示字符串,另一列包含模型响应字符串:
| input | output | |-----------------|------------------| | "user prompt" | "model response" |
- Parameters:
train_on_input (bool) – 模型是否在用户提示上进行训练。 默认值为 False。
column_map (可选[字典[str, str]]) – 一个映射,用于将预期的“输入”和“输出”列名更改为数据集中实际的列名。键应为“输入”和“输出”,值应为实际的列名。默认值为None,保持默认的“输入”和“输出”列名。
new_system_prompt (可选[str]) – 如果指定,将预置一条系统消息。这可以作为指导模型响应的指令。默认值为 None。
image_dir (可选[路径]) – 包含数据集中所有图像路径的目录路径。例如,如果
image_dir="/home/user/dataset/"` 并且 样本 图像 路径 是 ``"images/1.jpg",那么最终加载的图像路径将是"/home/user/dataset/images/1.jpg"。 如果为 None,则假定图像在当前工作目录中可用或位于远程 URL 上。对于纯文本,请保留为 None。默认值为 None。
- Raises:
ValueError – 如果提供了
column_map并且input不在column_map中,或者output不在column_map中。ValueError – 如果提供了
image_dir但image不在column_map中。