贡献一个 `LabelledRagDataset`
构建更健壮的RAG系统需要多样化的评估套件。这就是为什么我们在llama-hub中推出了LlamaDatasets。本页将讨论如何贡献在llama-hub中提供的第一类LlamaDataset,即LabelledRagDataset。
贡献一个LabelledRagDataset包含两个高级步骤。一般来说,
您需要创建LabelledRagDataset,将其保存为json格式,并将该json文件
及源文本文件提交至我们的llama-datasets代码库。此外,您还需要
发起拉取请求,将数据集的必要元数据上传至我们的llama-hub代码库。
为了让提交过程更加顺畅,我们准备了一个模板笔记本,您可以按照它从头创建一个LabelledRagDataset(或将类似结构的问答数据集转换为该格式),并执行其他必要步骤来完成提交。请参考下方链接的“LlamaDataset提交模板笔记本”。
贡献其他 llama 数据集
Section titled “Contributing Other llama-datasets”贡献我们其他 llama-datasets(例如
LabelledEvaluatorDataset)的通用流程与先前描述的
LabelledRagDataset相同。这些其他数据集的提交模板即将推出!
阅读完整的提交示例Notebook。