跳转到内容

贡献一个 `LabelledRagDataset`

构建更健壮的RAG系统需要多样化的评估套件。这就是为什么我们在llama-hub中推出了LlamaDatasets。本页将讨论如何贡献在llama-hub中提供的第一类LlamaDataset,即LabelledRagDataset

贡献一个LabelledRagDataset包含两个高级步骤。一般来说, 您需要创建LabelledRagDataset,将其保存为json格式,并将该json文件 及源文本文件提交至我们的llama-datasets代码库。此外,您还需要 发起拉取请求,将数据集的必要元数据上传至我们的llama-hub代码库

为了让提交过程更加顺畅,我们准备了一个模板笔记本,您可以按照它从头创建一个LabelledRagDataset(或将类似结构的问答数据集转换为该格式),并执行其他必要步骤来完成提交。请参考下方链接的“LlamaDataset提交模板笔记本”。

贡献我们其他 llama-datasets(例如 LabelledEvaluatorDataset)的通用流程与先前描述的 LabelledRagDataset相同。这些其他数据集的提交模板即将推出!

阅读完整的提交示例Notebook