Apache Zeppelin 的 HDFS 文件系统解释器
概述
Hadoop 文件系统 是 Hadoop 项目中的一个分布式、容错的文件系统,通常用作分布式处理引擎(如 Hadoop MapReduce 和 Apache Spark)或底层文件系统(如 Alluxio)的存储。
配置
| 属性 | 默认值 | 描述 |
|---|---|---|
| hdfs.url | http://localhost:50070/webhdfs/v1/ | WebHDFS的URL |
| hdfs.user | hdfs | WebHDFS 用户 |
| hdfs.maxlength | 1000 | 获取结果的最大行数 |
此解释器使用HTTP WebHDFS接口连接到HDFS。
它支持应用于HDFS的基本shell文件命令,目前仅支持浏览。
- 你可以使用 ls [PATH] 和 ls -l [PATH] 来列出一个目录。如果路径缺失,则列出当前目录。ls 支持一个 -h 标志,用于人类可读的文件大小。
- 你可以使用 cd [PATH] 通过提供相对路径或绝对路径来更改当前目录。
- 你可以调用 pwd 来查看当前目录。
提示: 使用 ( Ctrl + . ) 进行自动补全。
创建解释器
在笔记本中,要启用HDFS解释器,请点击齿轮图标并选择HDFS。
WebHDFS REST API
您可以通过对提供给解释器的WebHDFS端点运行curl命令来确认您能够访问WebHDFS API。
这是一个示例:
$> curl "http://localhost:50070/webhdfs/v1/?op=LISTSTATUS"