加载数据
描述
LOAD DATA
语句从用户指定的目录或文件中加载数据到 Hive serde 表。如果指定了一个目录，则该目录中的所有文件都将被加载。如果指定了一个文件，则仅加载该单个文件。此外，
LOAD DATA
语句还接受一个可选的分区规范。当指定了分区时，数据文件（当输入源是一个目录时）或单个文件（当输入源是一个文件时）将被加载到目标表的分区中。
如果表被缓存，该命令将清除表及所有引用它的依赖项的缓存数据。下一次访问表或依赖项时，缓存将被惰性填充。
语法
LOAD DATA [ LOCAL ] INPATH path [ OVERWRITE ] INTO TABLE table_identifier [ partition_spec ]
参数
-
path
文件系统的路径。可以是绝对路径或相对路径。
-
table_identifier
指定一个表名，可以选择性地带有数据库名称。
语法:
[ database_name. ] table_name -
partition_spec
一个可选参数，指定一个逗号分隔的键值对列表，用于分区。
语法:
PARTITION ( partition_col_name = partition_col_val [ , ... ] ) -
LOCAL
如果指定，将导致
INPATH在本地文件系统上解析，而不是在通常为分布式存储的默认文件系统上。 -
OVERWRITE
默认情况下，新数据会追加到表中。如果使用
OVERWRITE，则表将被新数据覆盖。
示例
-- 没有分区规范的示例。
-- 假设学生表已经创建并填充。
SELECT * FROM students;
+---------+----------------------+----------+
| name| address|student_id|
+---------+----------------------+----------+
|Amy Smith|123 Park Ave, San Jose| 111111|
+---------+----------------------+----------+
CREATE TABLE test_load (name VARCHAR(64), address VARCHAR(64), student_id INT) USING HIVE;
-- 假设学生表在 '/user/hive/warehouse/' 中
LOAD DATA LOCAL INPATH '/user/hive/warehouse/students' OVERWRITE INTO TABLE test_load;
SELECT * FROM test_load;
+---------+----------------------+----------+
| name| address|student_id|
+---------+----------------------+----------+
|Amy Smith|123 Park Ave, San Jose| 111111|
+---------+----------------------+----------+
-- 带有分区规范的示例。
CREATE TABLE test_partition (c1 INT, c2 INT, c3 INT) PARTITIONED BY (c2, c3);
INSERT INTO test_partition PARTITION (c2 = 2, c3 = 3) VALUES (1);
INSERT INTO test_partition PARTITION (c2 = 5, c3 = 6) VALUES (4);
INSERT INTO test_partition PARTITION (c2 = 8, c3 = 9) VALUES (7);
SELECT * FROM test_partition;
+---+---+---+
| c1| c2| c3|
+---+---+---+
| 1| 2| 3|
| 4| 5| 6|
| 7| 8| 9|
+---+---+---+
CREATE TABLE test_load_partition (c1 INT, c2 INT, c3 INT) USING HIVE PARTITIONED BY (c2, c3);
-- 假设 test_partition 表在 '/user/hive/warehouse/' 中
LOAD DATA LOCAL INPATH '/user/hive/warehouse/test_partition/c2=2/c3=3'
OVERWRITE INTO TABLE test_load_partition PARTITION (c2=2, c3=3);
SELECT * FROM test_load_partition;
+---+---+---+
| c1| c2| c3|
+---+---+---+
| 1| 2| 3|
+---+---+---+