指南 3个标注团队操作手册:提升标注速度与质量

在项目中使用数据管理器

在您设置项目标注界面导入数据后,您可以筛选和排序数据,为标注做好准备。

您还可以采取措施管理数据,例如在Label Studio Enterprise中为任务分配标注人员,或在需要时删除任务和标注。



Data Manager Screenshot
Screenshot of the Label Studio UI showing an OCR project including photographs of receipts, prediction scores, and other metadata for each labeling task.

在Label Studio社区版中,数据管理器是查看数据的默认界面。在Label Studio企业版中,点击数据管理器即可打开并查看数据管理页面。数据管理器中的每一行代表数据集中的一个标注任务。

筛选或排序项目数据

通过筛选器和标签页,您可以将数据分割成不同部分,由不同的标注人员进行标注,或者按照预测分数、数据中的其他值等特定顺序设置数据以执行标注。

在对数据进行标注前进行筛选或排序时,您将修改标注时所见任务及其顺序。虽然任务抽样会影响整个项目的任务顺序且不可更改,但筛选和排序任务可以随时调整。

示例:优先标注新数据

按日期对项目中的数据进行排序,优先标注最新的数据。

  1. 在项目中,将数据的排序从默认值更新为创建时间
  2. 更新项目顺序为升序排列,使最新项目显示在最前面。
  3. 选择按显示顺序标注任务以从最新到最旧的顺序开始标注任务。

示例:按预测分数排序

如果上传带有预测分数的预标注数据,或者您的机器学习后端在模型输出中包含预测分数,您可以按预测分数对项目中的数据进行排序。

  1. 在项目中,将数据的排序从默认值更新为使用预测分数字段。
  2. 根据预测置信度的高低,按升序或降序更新待标注项目的顺序。
  3. 选择按显示顺序标注任务以按预测分数顺序开始标注任务。 您也可以使用任务抽样来实现预测分数排序。

示例:使用标签和筛选器分割数据集

如果您需要标注一个大型数据集,可以使用标签页和过滤器将其拆分为更小的部分,并为不同的标注人员分配不同的标签页。在Label Studio社区版中,您无法直接将标注人员分配到特定任务,但可以通过以标注人员姓名重命名标签页的方式,实现基于标签页的任务分配。

例如,您可以将包含300张图像的数据集拆分为3个不同的标签页,并让不同的标注人员专注于每个标签页:

  1. 在项目中创建一个筛选器,其中ID字段的值介于"1"和"100"之间。点击筛选器外部即可在标签页中查看筛选后的项目。
  2. 点击标签页的垂直省略号并选择重命名。根据您想在该标签页中重点关注项目的特定标注者来命名。
  3. 点击+图标创建新标签页。点击新标签页的垂直省略号菜单,选择重命名将其命名为第二位标注者的名称。
  4. 在新标签页上,创建一个筛选条件,其中ID字段介于值"101"和"200"之间。点击筛选条件外部以查看该标签页上筛选后的项目。
  5. 点击+图标创建新标签页。点击新标签页的垂直省略号菜单,选择重命名将其命名为第三位标注者的名称。
  6. 在新标签页上,创建一个筛选条件,其中ID字段介于值"201"和"300"之间。点击筛选条件外部即可在标签页上查看筛选后的项目。
  7. 任何标注者都可以登录并导航至相关工作标签页,点击标注按钮开始标注该标签页下的任务子集。

将筛选器保存为标签页

您可以在数据管理器上创建标签页,用于分割数据集以便标注、按状态(已标注、预测、未标注)或其他原因分隔任务。

您创建的标签页取决于您的标注配置设置,因为标注配置定义了可用于筛选和排序的数据字段。

备注

如果您对标注配置进行了更改,数据管理器中的所有标签页将被移除。请确保在数据管理器中设置复杂标签页之前完成项目设置。

删除任务或标注

如果您有重复的任务,或者想要删除标注,可以从Label Studio中删除任务和标注。

  1. 在Label Studio界面中,打开您想要更新的项目。
  2. 在数据管理页面筛选仅显示您想删除的数据。例如,特定标注或由特定标注者标注的任务。
  3. 勾选您想要删除的任务或标注对应的复选框。
  4. 选择显示任务数量的下拉菜单,然后选择删除任务删除标注
  5. 点击确定确认您的操作。

如果您想修改标注界面或执行不同类型的数据标注,请先选择数据集中的所有标注并删除这些标注。