Catalog

Catalog.cacheTable (表名[, 存储级别])

将指定的表缓存到内存中或使用给定的存储级别。

Catalog.clearCache ()

从内存缓存中移除所有缓存的表。

Catalog.createExternalTable (表名[, …])

根据数据源中的数据集创建一个表。

Catalog.createTable (表名[, 路径, …])

根据数据源中的数据集创建一个表。

Catalog.currentCatalog ()

返回此会话中的当前默认目录。

Catalog.currentDatabase ()

返回此会话中的当前默认数据库。

Catalog.databaseExists (数据库名称)

检查指定名称的数据库是否存在。

Catalog.dropGlobalTempView (视图名称)

删除目录中具有给定视图名称的全局临时视图。

Catalog.dropTempView (视图名称)

在目录中删除具有给定视图名称的本地临时视图。

Catalog.functionExists (函数名称[, 数据库名称])

检查指定名称的函数是否存在。

Catalog.getDatabase (数据库名称)

获取指定名称的数据库。

Catalog.getFunction (函数名称)

获取指定名称的函数。

Catalog.getTable (表名)

获取指定名称的表或视图。

Catalog.isCached (表名)

如果表当前在内存中缓存,则返回true。

Catalog.listCatalogs ([pattern])

返回此会话中的目录列表。

Catalog.listColumns (表名[, 数据库名])

返回指定数据库中给定表/视图的列列表。

Catalog.listDatabases ([模式])

返回所有会话中可用的数据库列表。

Catalog.listFunctions ([数据库名, 模式])

返回指定数据库中注册的函数列表。

Catalog.listTables ([数据库名称, 模式])

返回指定数据库中的表/视图列表。

Catalog.recoverPartitions (表名)

恢复给定表的所有分区并更新目录。

Catalog.refreshByPath (路径)

使所有包含给定数据源路径的 DataFrame 的缓存数据(及其关联的元数据)失效并刷新。

Catalog.refreshTable (表名)

使给定表的所有缓存数据和元数据失效并刷新。

Catalog.registerFunction (名称, f[, 返回类型])

spark.udf.register() 的别名。

Catalog.setCurrentCatalog (目录名称)

设置当前会话中的默认目录。

Catalog.setCurrentDatabase (数据库名称)

设置当前会话中的默认数据库。

Catalog.tableExists (表名[, 数据库名])

检查是否存在指定名称的表或视图。

Catalog.uncacheTable (表名)

从内存缓存中移除指定的表。