Input/Output

DataFrameReader.csv (路径[, 模式, 分隔符, …])	加载一个CSV文件，并将结果作为一个 DataFrame 返回。
DataFrameReader.format （数据来源）	指定输入数据源格式。
DataFrameReader.jdbc (网址, 表[, 列, ...])	构建一个 DataFrame ，表示通过 JDBC URL url 和连接 properties 访问的名为 table 的数据库表。
DataFrameReader.json (路径[, 模式, …])	加载JSON文件并将结果作为一个 DataFrame 返回。
DataFrameReader.load ([路径, 格式, 模式])	从数据源加载数据并将其作为一个 DataFrame 返回。
DataFrameReader.option (键, 值)	为基础数据源添加输入选项。
DataFrameReader.options (**选项)	为基础数据源添加输入选项。
DataFrameReader.orc (路径[, 合并模式, …])	加载 ORC 文件，返回结果作为一个 DataFrame 。
DataFrameReader.parquet (*路径， **选项)	加载 Parquet 文件，并将结果作为 DataFrame 返回。
DataFrameReader.schema (模式)	指定输入模式。
DataFrameReader.table (表名)	返回指定的表作为一个 DataFrame 。
DataFrameReader.text (路径[, 整个文本, …])	加载文本文件并返回一个 DataFrame ，其模式以一个名为“value”的字符串列开始，后面是分区列（如果有的话）。
DataFrameWriter.bucketBy (桶的数量, 列, *其他列)	按给定列对输出进行分组。
DataFrameWriter.csv (路径[, 模式, …])	将 DataFrame 的内容以CSV格式保存到指定路径。
DataFrameWriter.format (源)	指定基础输出数据源。
DataFrameWriter.insertInto (表名[, …])	将 DataFrame 的内容插入到指定的表中。
DataFrameWriter.jdbc (url, table[, mode, …])	通过JDBC将 DataFrame 的内容保存到外部数据库表中。
DataFrameWriter.json (路径[, 模式, …])	将 DataFrame 的内容以JSON格式（ JSON Lines文本格式或按行分隔的JSON ）保存到指定路径。
DataFrameWriter.mode (保存模式)	指定当数据或表已经存在时的行为。
DataFrameWriter.option (键, 值)	为底层数据源添加输出选项。
DataFrameWriter.options (**选项)	为基础数据源添加输出选项。
DataFrameWriter.orc (路径[, 模式, …])	在指定路径以 ORC 格式保存 DataFrame 的内容。
DataFrameWriter.parquet (路径[, 模式, …])	将 DataFrame 的内容以Parquet格式保存在指定路径。
DataFrameWriter.partitionBy (*列)	根据给定的列在文件系统上对输出进行分区。
DataFrameWriter.save ([路径, 格式, 模式, …])	将 DataFrame 的内容保存到数据源。
DataFrameWriter.saveAsTable (名称[, 格式, …])	将 DataFrame 的内容保存为指定的表。
DataFrameWriter.sortBy (列, *列)	按文件系统中的给定列对每个桶的输出进行排序。
DataFrameWriter.text (路径[, 压缩, …])	将DataFrame的内容保存到指定路径的文本文件中。
DataFrameWriterV2.using (提供程序)	指定底层输出数据源的提供者。
DataFrameWriterV2.option (键, 值)	添加写入选项。
DataFrameWriterV2.options (**选项)	添加写入选项。
DataFrameWriterV2.tableProperty (属性, 值)	添加表属性。
DataFrameWriterV2.partitionedBy (col, *cols)	使用给定的列或变换对由 create 、 createOrReplace 或 replace 创建的输出表进行分区。
DataFrameWriterV2.create ()	根据数据框的内容创建一个新表。
DataFrameWriterV2.replace ()	用数据框的内容替换现有的表。
DataFrameWriterV2.createOrReplace ()	创建一个新表或用数据框的内容替换现有表。
DataFrameWriterV2.append ()	将数据框的内容附加到输出表中。
DataFrameWriterV2.overwrite (条件)	用输出表中的数据框内容覆盖符合给定过滤条件的行。
DataFrameWriterV2.overwritePartitions ()	用数据框的内容覆盖输出表中至少有一行的所有分区。

上一页

pyspark.sql.conf.RuntimeConfig

下一步

pyspark.sql.DataFrameReader.csv