-
static lance.LanceDataset.commit_batch(dest: str | Path | LanceDataset, 交易: collections.abc.Sequence[事务], commit_lock: CommitLock | None =
None, storage_options: dict[str, str] | None =None, enable_v2_manifest_paths: bool | None =None, 分离: bool | None =False, max_retries: int =20) BulkCommitResult 使用多个事务创建数据集的新版本。
此方法是一个高级方法,允许用户描述对数据文件所做的更改。当使用Lance应用更改时(例如使用
LanceDataset或write_dataset()),则不需要此方法。- Parameters:
- dest : str, Path, or LanceDataset¶
数据集的基础URI,或者数据集对象本身。使用数据集对象可能更高效,因为它可以复用文件元数据缓存。
- transactions : Iterable[Transaction]¶
要应用于数据集的事务操作。这些操作将被合并为单个事务并应用到数据集中。注意:目前仅支持追加事务,其他类型的事务将在未来版本中支持。
- commit_lock : CommitLock, optional¶
自定义提交锁。仅当您的对象存储不支持原子提交时才需要。详情请参阅用户指南。
- storage_options : optional, dict¶
针对特定存储连接的额外选项。这用于存储连接参数,如凭证、端点等。
- enable_v2_manifest_paths : bool, optional¶
如果为True,且这是一个新数据集,则使用新的V2清单路径。 这些路径能更高效地在对象存储上打开包含多个版本的数据集。如果数据集已存在,此参数将不起作用。要迁移现有数据集,请改用
migrate_manifest_paths_v2()方法。默认为False。警告: 启用此选项将使旧版Lance(0.17.0之前版本)无法读取该数据集。- detached : bool, optional¶
如果为True,则该提交不会成为数据集谱系的一部分。它将永远不会显示为最新数据集,未来唯一查看它的方式是通过指定版本号检出。该版本将是一个随机版本号,仅在分离提交中保持唯一。调用方应将其存储在某处,因为未来将无法通过其他方式获取它。
- max_retries : int¶
提交数据集时执行的最大重试次数。
- Returns:
- dataset: LanceDataset
Lance数据集的新版本。
- merged: Transaction
应用于数据集的合并事务。
- Return type:
包含键的字典