ray.data.datasource.PathPartitionParser.of#

static PathPartitionParser.of(style: PartitionStyle = PartitionStyle.HIVE, base_dir: str | None = None, field_names: List[str] | None = None, filesystem: pyarrow.fs.FileSystem | None = None) → PathPartitionParser[源代码]#

使用扁平化的参数列表创建一个基于路径的分区解析器。

参数:

  • style – 分区样式 - 可以是 HIVE 或 DIRECTORY。

  • base_dir – “/”-分隔的基础目录，用于开始搜索分区（不包括）。此目录之外的文件路径将被视为未分区。指定 None 或空字符串以在所有文件路径目录中搜索分区。

  • field_names – 分区键名称。DIRECTORY 分区时必需，HIVE 分区时可选。当非空时，分区键字段名称的顺序和长度必须与发现的分区目录的顺序和长度匹配。分区键字段名称不需要存在于数据集模式中。

  • filesystem – 将用于分区路径文件I/O的文件系统。

返回:

基于路径的新分区解析器。