JSON 文件

# spark 来自之前的例子。
sc = spark.sparkContext
# 一个 JSON 数据集由路径指向。
# 该路径可以是一个单一的文本文件或存储文本文件的目录
path = "examples/src/main/resources/people.json"
peopleDF = spark.read.json(path)
# 推断出的模式可以使用 printSchema() 方法进行可视化
peopleDF.printSchema()
# root
#  |-- age: long (nullable = true)
#  |-- name: string (nullable = true)

# 使用 DataFrame 创建一个临时视图
peopleDF.createOrReplaceTempView("people")
# 可以使用 spark 提供的 sql 方法运行 SQL 语句
teenagerNamesDF = spark.sql("SELECT name FROM people WHERE age BETWEEN 13 AND 19")
teenagerNamesDF.show()
# +------+
# |  name|
# +------+
# |Justin|
# +------+

# 另外，可以为由
# 一个 RDD[String] 表示的 JSON 数据集创建 DataFrame，每个字符串存储一个 JSON 对象
jsonStrings = ['{"name":"Yin","address":{"city":"Columbus","state":"Ohio"}}']
otherPeopleRDD = sc.parallelize(jsonStrings)
otherPeople = spark.read.json(otherPeopleRDD)
otherPeople.show()
# +---------------+----+
# |        address|name|
# +---------------+----+
# |[Columbus,Ohio]| Yin|
# +---------------+----+

// 原始类型 (Int, String, 等) 和 产品类型 (案例类) 的编码器
// 通过在创建数据集时导入该内容来支持。
import spark.implicits._
// 通过路径指向一个 JSON 数据集。
// 路径可以是单个文本文件或存储文本文件的目录
val path = "examples/src/main/resources/people.json"
val peopleDF = spark.read.json(path)
// 可以使用 printSchema() 方法可视化推断的模式
peopleDF.printSchema()
// root
//  |-- age: long (nullable = true)
//  |-- name: string (nullable = true)
// 使用 DataFrame 创建一个临时视图
peopleDF.createOrReplaceTempView("people")
// 可以使用 spark 提供的 sql 方法运行 SQL 语句
val teenagerNamesDF = spark.sql("SELECT name FROM people WHERE age BETWEEN 13 AND 19")
teenagerNamesDF.show()
// +------+
// |  name|
// +------+
// |Justin|
// +------+
// 或者，可以为一个由字符串表示的 JSON 数据集创建 DataFrame
// 每个字符串存储一个 JSON 对象
val otherPeopleDataset = spark.createDataset(
"""{"name":"Yin","address":{"city":"Columbus","state":"Ohio"}}""" :: Nil)
val otherPeople = spark.read.json(otherPeopleDataset)
otherPeople.show()
// +---------------+----+
// |        address|name|
// +---------------+----+
// |[Columbus,Ohio]| Yin|
// +---------------+----+

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
// JSON 数据集由路径指向。
// 路径可以是单个文本文件或存储文本文件的目录
Dataset<Row> people = spark.read().json("examples/src/main/resources/people.json");
// 推断的模式可以使用 printSchema() 方法进行可视化
people.printSchema();
// root
//  |-- age: long (nullable = true)
//  |-- name: string (nullable = true)
// 使用 DataFrame 创建一个临时视图
people.createOrReplaceTempView("people");
// 可以通过使用 spark 提供的 sql 方法运行 SQL 语句
Dataset<Row> namesDF = spark.sql("SELECT name FROM people WHERE age BETWEEN 13 AND 19");
namesDF.show();
// +------+
// |  name|
// +------+
// |Justin|
// +------+
// 或者，可以为一个由每个字符串表示一个 JSON 对象的 Dataset 创建 DataFrame。
List<String> jsonData = Arrays.asList(
"{\"name\":\"Yin\",\"address\":{\"city\":\"Columbus\",\"state\":\"Ohio\"}}");
Dataset<String> anotherPeopleDataset = spark.createDataset(jsonData, Encoders.STRING());
Dataset<Row> anotherPeople = spark.read().json(anotherPeopleDataset);
anotherPeople.show();
// +---------------+----+
// |        address|name|
// +---------------+----+
// |[Columbus,Ohio]| Yin|
// +---------------+----+

# 一个 JSON 数据集由路径指向。
# 路径可以是单个文本文件或存储文本文件的目录。
path <- "examples/src/main/resources/people.json"
# 从由路径指向的文件创建一个 DataFrame
people <- read.json(path)
# 推断的模式可以使用 printSchema() 方法可视化。
printSchema(people)
## root
##  |-- age: long (nullable = true)
##  |-- name: string (nullable = true)
# 将此 DataFrame 注册为一个表。
createOrReplaceTempView(people, "people")
# 可以使用 sql 方法运行 SQL 语句。
teenagers <- sql("SELECT name FROM people WHERE age >= 13 AND age <= 19")
head(teenagers)
##     name
## 1 Justin