Apache Zeppelin 的 HDFS 文件系统解释器

概述

Hadoop 文件系统 是 Hadoop 项目中的一个分布式、容错的文件系统,通常用作分布式处理引擎(如 Hadoop MapReduceApache Spark)或底层文件系统(如 Alluxio)的存储。

配置

属性 默认值 描述
hdfs.url http://localhost:50070/webhdfs/v1/ WebHDFS的URL
hdfs.user hdfs WebHDFS 用户
hdfs.maxlength 1000 获取结果的最大行数


此解释器使用HTTP WebHDFS接口连接到HDFS。 它支持应用于HDFS的基本shell文件命令,目前仅支持浏览。

  • 你可以使用 ls [PATH]ls -l [PATH] 来列出一个目录。如果路径缺失,则列出当前目录。ls 支持一个 -h 标志,用于人类可读的文件大小。
  • 你可以使用 cd [PATH] 通过提供相对路径或绝对路径来更改当前目录。
  • 你可以调用 pwd 来查看当前目录。

提示: 使用 ( Ctrl + . ) 进行自动补全。

创建解释器

在笔记本中,要启用HDFS解释器,请点击齿轮图标并选择HDFS

WebHDFS REST API

您可以通过对提供给解释器的WebHDFS端点运行curl命令来确认您能够访问WebHDFS API。

这是一个示例:

$> curl "http://localhost:50070/webhdfs/v1/?op=LISTSTATUS"