Lance ❤️ HuggingFace¶

HuggingFace Hub已成为机器学习从业者寻找预训练模型和实用数据集的首选平台。

HuggingFace数据集可以直接通过lance.write_dataset()方法写入Lance格式。您可以写入整个数据集或特定拆分。例如：

# Huggingface datasets
import datasets
import lance

lance.write_dataset(datasets.load_dataset(
    "poloclub/diffusiondb", split="train[:10]",
), "diffusiondb_train.lance")