Apache Spark 连接器

Delta Lake 4.0 预览版已发布！查看4.0预览版文档请点击此处。

这是Delta Lake Spark连接器的文档页面。

快速入门
- 设置Apache Spark与Delta Lake
- 创建表
- 读取数据
- 更新表数据
- 使用时间旅行读取旧版本数据
- 将数据流写入表
- 从表中读取变更流
表的批量读取和写入
- 创建表
- 读取表格
- 查询表的旧版本快照（时间旅行）
- 写入表
- 模式验证
- 更新表结构
- 替换表结构
- 表视图
- 表属性
- 将表结构和属性同步到Hive元存储
- 表元数据
- 配置SparkSession
- 配置存储凭证
表的流式读取和写入
- 将Delta表作为数据源
- Delta table as a sink
- 在foreachBatch中实现幂等的表写入
表的删除、更新与合并操作
- 从表中删除
- 更新表
- 使用merge操作实现表的更新插入
- 包含结构体数组的模式的特殊注意事项
- 合并示例
变更数据订阅
- 使用案例
- 启用变更数据馈送
- 读取批量查询中的变更
- 读取流式查询中的变更
- 变更数据馈送的模式是什么？
- 启用了列映射的表在变更数据馈送方面的限制
- 常见问题解答(FAQ)
表实用程序命令
- 移除Delta表中不再引用的文件
- 检索Delta表历史记录
- 获取Delta表详细信息
- 生成清单文件
- 将Parquet表转换为Delta表
- 将Iceberg表转换为Delta表
- 将Delta表转换为Parquet表
- 将Delta表恢复到早期状态
- 浅克隆Delta表
- 将Parquet或Iceberg表克隆为Delta表
约束条件
- NOT NULL 约束
- CHECK 约束
Delta Lake如何管理功能兼容性？
- Delta Lake 的哪些功能需要客户端升级？
- 什么是表协议规范？
- 哪些协议必须升级？
- 什么是表特性？
- 表特性会改变Delta Lake特性的启用方式吗？
- 什么是协议版本？
- 按协议版本划分的功能特性
- 升级协议版本
Delta默认列值
- 如何启用Delta Lake默认列值
- 如何在SQL命令中使用默认列
Delta列映射
- 如何启用Delta Lake列映射
- 重命名列
- 删除列
- 列名中支持的字符
- 已知限制
对Delta表使用液态聚类
- 什么是液态集群的用途？
- 启用液态集群
- 选择聚类列
- 将数据写入集群表
- 如何触发聚类
- 从集群表中读取数据
- 更改聚类列
- 查看表如何被集群化
- 限制
什么是删除向量？
- 启用删除向量
- 对Parquet数据文件应用变更
删除Delta表功能
- 如何删除Delta表功能？
- 可以删除哪些Delta表特性？
- 如何删除Delta表功能？
为Delta表启用行追踪
- 启用行跟踪
- 读取行追踪元数据字段
- 禁用行追踪
- 限制
存储配置
- Amazon S3
- Microsoft Azure storage
- HDFS
- Google Cloud Storage
- Oracle 云基础设施
- IBM Cloud Object Storage
Delta 类型扩展
- 支持的类型变更
- 如何启用Delta Lake类型扩展
- 手动应用类型变更
- 支持自动模式演变的类型变更
- 移除类型扩展表功能
通用格式(UniForm)
- 需求
- 启用Delta Lake UniForm
- UniForm何时生成元数据？
- 检查Iceberg/Hudi元数据生成状态
- 在Apache Spark中将UniForm表读取为Iceberg表
- 使用元数据JSON路径将UniForm表读取为Iceberg表
- 在Apache Spark中将UniForm表读取为Hudi表
- Delta 和 Iceberg/Hudi 表版本
- 限制
读取Delta Sharing表
- 读取快照
- 查询共享表的旧版本快照（时间旅行）
- 读取表变更(CDF)
- 流式处理
- 阅读Delta Sharing中的高级Delta Lake功能
并发控制
- 乐观并发控制
- 写入冲突
- 通过分区和互斥命令条件避免冲突
- 冲突异常
迁移指南
- 将工作负载迁移至Delta Lake
- 将Delta Lake工作负载迁移到较新版本
最佳实践
- 选择正确的分区列
- 压缩文件
- 替换表的内容或架构
- Spark缓存
常见问题解答(FAQ)
- 什么是Delta Lake？
- Delta Lake与Apache Spark有何关联？
- Delta Lake 使用什么格式存储数据？
- 如何使用Delta Lake读写数据？
- Delta Lake 将数据存储在哪里？
- 我可以将我的Delta Lake表复制到另一个位置吗？
- 我可以直接将数据流式传输到Delta表或从Delta表流式传输数据吗？
- Delta Lake是否支持使用Spark Streaming DStream API进行写入或读取？
- 当我使用Delta Lake时，能否轻松将代码移植到其他Spark平台？
- Delta Lake是否支持多表事务？
- 如何更改列的数据类型？
优化
- 通过文件管理优化性能
- 自动压缩
- 数据跳过
- Z-Ordering（多维聚类）
- 多部分检查点
- 日志压缩
- 优化写入