指南 3个标注团队操作手册:提升标注速度与质量

标注指南

使用开源数据标注工具Label Studio来标记和注释您的数据。在您设置项目标注界面导入数据后,就可以开始对数据进行标记和注释了。

  1. 在Label Studio中打开一个项目,并可选地筛选或排序数据
  2. 点击标注所有任务开始标注
  3. 使用键盘快捷键或鼠标标注数据并提交您的注释。
  4. 遵循项目说明进行标注并决定是否跳过任务。
  5. 点击项目名称返回数据管理器。

您还可以与其他标注人员协作以提高标注数据的质量。

开始标注

某些标注任务可能较为复杂,例如涉及文本、图像和音频数据对象作为同一数据集和标注任务组成部分的情况,或在标注任务中创建标注间的关系。本节提供关于如何执行更复杂标注任务的指导,例如带关系的标注、重叠区域标注、选定任务标注或更改标签等操作。

选择需要标注的任务

在项目中,点击标注所有任务开始标注所有任务。若要按照数据管理器中筛选和排序后的顺序标注任务,请选择按显示标注任务

您也可以通过从项目数据管理器视图中点击任务,在快速查看预览中标注特定任务,但在提交标注后不会自动显示标注队列中的下一个任务。

您也可以勾选特定任务旁边的复选框,然后点击标注$n个任务来标注所选数量的任务。例如,勾选5个不同任务的复选框,然后点击标注5个任务即可仅标注这5个任务。

备注

在标注任务时,不应在两个标签页中同时打开标注流(即点击标注所有任务)。这可能导致您收到相同的任务两次,从而绕过处理标注者重叠的项目设置。

在数据中标注区域

通过添加区域来标注数据的一部分。

  1. 选择要应用于该区域的标签。对于某些配置,您可以跳过此步骤。
  2. 点击文本、图像、音频或其他数据对象,将标签应用到对应区域。您的更改会自动保存。
  3. 点击提交以提交已完成的标注并继续处理下一个任务。

标签重叠区域

在使用边界框和其他图像分割任务进行标注时,或者在为NLP和NER标注高亮文本时,您可能需要对重叠区域进行标注。为了轻松实现这一点,可以在标注完成后隐藏已标注区域。

  1. 选择您想要应用于该区域的标签。
  2. 绘制边界框或高亮显示您想要标注的文本。
  3. 区域标签侧边栏中,找到并选择您已标注的区域,然后点击眼睛图标以隐藏该区域。
  4. 或者按住cmd或ctrl键在现有的区域标签上绘制(注意:此操作不适用于关键点)
  5. 选择您想要应用到重叠区域的下一个标签。
  6. 绘制边界框或高亮显示您想要标注的文本。
  7. 继续隐藏和标注区域,直到完成任务的注释。如果需要,可以点击Regions旁边的眼睛图标来隐藏或显示任务上所有已标注的区域,以确认最终结果。
  8. 点击提交以提交已完成的标注并继续处理下一个任务。

选择多个区域

在标注时,您可以选择多个区域以便同时对它们进行修改。

  1. 创建多个区域后,按住ctrl并点击每个要选择的区域。您可以在标注对象上或区域侧边栏中选择区域。在区域侧边栏中,通过点击列表中要选择的第一个区域并按住Shift同时点击列表中要选择的最后一个区域,可以选择一个区域范围。
  2. 选择区域后,您可以为所有选定区域应用标签或删除它们。
  3. 点击已选区域或按u键取消选择。

重复区域

您可以复制一个区域来创建多个大小相同的多边形、矩形或椭圆形。

  1. 选择您想要复制的区域。
  2. 按下ctrl + d复制区域,或使用ctrl + cctrl + v组合键进行复制粘贴。复制的区域会出现在与被复制区域完全相同的位置。如果使用Mac键盘,请用cmd键替代ctrl键。
  3. 点击箭头工具,然后移动并调整新创建区域的大小。

更改标签

您可以更改现有区域的标签。

  1. 在对象上或使用区域侧边栏选择已标注的区域,例如文本片段、边界框、图像分割区域、音频片段或其他区域。
  2. 选择新标签。您对标签的更改将自动保存。
  3. 点击提交以提交已完成的标注并继续处理下一个任务。

删除已标注区域

如果需要,您可以删除已标注的区域,例如边界框或文本范围。

  1. 在对象上或区域侧边栏中选择已标注的区域。
  2. 按下退格键,或前往结果面板移除选中的标注。

删除标注

标注完一个任务后,您可以通过点击垃圾桶按钮删除该任务上的标注。如果尚未保存标注,点击X图标可重置任务并清除您的标注活动。

你也可以从项目页面删除任务上的所有标注。参见删除任务或标注

添加标注之间的关系

您可以在两个结果之间创建带有方向和标签的关系。要为方向添加标签,您必须使用relations标签设置标注配置。有关带标签的关系的更多信息,请参阅标签文档。

  1. 选择您想要关联到另一个标注的标注区域。如果您正在创建一个基于方向的关联,请先选择第一个标注。
  2. 结果侧边栏的区域部分,点击看起来像超链接图标的创建关系按钮。
  3. 选择第二个标注区域以完成关系标注。

Figure 1: Add relations between annotations

关联两个标注区域后,您可以在结果侧边栏的关系部分修改该关联关系。

  • 要更改关系的方向,请点击两个关联区域之间的方向按钮。
  • 要为指示两个标注之间关系的方向箭头添加标签,点击两个相关区域旁边的垂直省略号按钮,添加您预定义的标签。您必须拥有一个包含关系的标签配置才能执行此操作。

跳过任务

当标注者跳过某个任务时,该任务将不再出现在该标注者的标注队列中。其他标注者仍能在自己的标注队列中看到该任务。

退出标注流程

当标注人员尚未完成标注工作但希望退出标注流程时(例如暂停其标注的交付时间计算),可以点击提交旁边的下拉菜单,然后选择提交并退出(或更新并退出)。这将提交当前标注并将他们重定向至项目页面。

如果他们尚未完成标注,可以简单地检查历史面板确认草稿已保存,然后导航至项目页面以停止lead time计算运行。

与协作者一起标注

在Label Studio和Label Studio Enterprise中,您可以与协作者一起标注任务。当有人进行标注时,任务会被锁定,以避免意外覆盖其他标注者的注释。当其他标注者完成该任务后,如果每个任务的最小标注数设置为大于一,则该任务可能会出现在您的标注队列中。默认情况下,每个任务只需由一名标注者完成标注。

如果您希望对任务进行多次标注,即使所需的最小标注数设置为1,请执行以下操作:

要在最低所需标注次数设置为1的情况下多次标注任务,请执行以下操作:

  1. 在项目的数据管理器中,点击任务以打开快速标注视图。
  2. 点击任务标注ID旁边的+图标以打开标注标签页。
  3. 标注任务。
  4. 点击提交保存您的标注。
  5. 在数据管理器中点击下一个任务,打开该任务的快速标注视图,并重复步骤2-4。

使用交互式预标注进行机器学习辅助标注

如果您已设置机器学习后端以获取交互式预标注,您可以在标注时选择是否使用这些预测结果。

  1. After you start labeling, you can enable Auto-Annotation to see and use the smart option to assign a label to draw a shape, mask, or assign a keypoint. After using the smart option to draw on an image, or labeling a text or HTML span, the ML backend returns predictions.
  2. 对于图像标注任务,在启用自动标注功能后,您可以选择是否自动接受标注建议。若选择自动接受,标注区域将自动显示并立即创建;若不自动接受,标注区域仍会显示,但您可以手动逐个或批量拒绝/批准这些建议。注意:预测的文本区域将始终被自动接受。

使用键盘快捷键

使用键盘快捷键(热键)来提升标注效率。在执行标注任务时,点击齿轮图标可查看热键详情或启用/禁用热键功能。

本表格描述了标准键盘的热键。对于Mac键盘,请使用return代替enter,delete代替backspace,option代替alt。

描述
ctrl + enter Submit a task.
alt + enter Update a task.
ctrl + backspace OR cmd + backspace Delete all regions.
escape Exit relation mode or unselect a selected region.
backspace Delete a selected region.
alt + r Create a relation between regions, when a region is selected.
alt + . Cycle through all regions in the order listed on the regions’ sidebar.
alt + h Hide a selected region.
ctrl + d OR cmd + d Duplicate a selected region.
u Unselect a selected region.
shift + down On the data manager, change the row selection to the next row, 1 below the current row. The quick view for the selected task row appears automatically.
shift + up On the data manager, change the row selection to the previous row, 1 above the current row. The quick view for the selected task row appears automatically.
shift + right On the data manager, open the labeling quick view for the selected task row.
shift + left On the data manager, close the labeling quick view for the selected task row.

其他标注类型有特定于标注的快捷键,例如在命名实体识别任务中使用数字选择特定标签。

图像专用快捷键

当使用RectangleBrushLabelsEllipsePolygonKeyPoints标签标注图像数据类型时,您可以使用特定的快捷键来执行图像标注相关的操作。

描述
h Pan the image, after zooming in.
v Select the mouse arrow.
alt + left arrow Rotate the image to the left.
alt + right arrow Rotate the image to the right.
ctrl + + Zoom in to the image.
ctrl + - Zoom out of the image.
k If performing key point labeling, select the key point option in the toolbar.
e Select the eraser option in the toolbar.
b If performing brush mask labeling, select the brush option in the toolbar.
[ When the brush or eraser option is selected, decrease the size of the brush or eraser.
] When the brush or eraser option is selected, increase the size of the brush or eraser.

时间序列专用快捷键

在使用TimeSeries标签标注时间序列数据时,您可以使用特定快捷键对时间序列数据上的选定区域执行操作。

描述
left arrow Expand the region area to the left.
right arrow Expand the region area to the right.
alt + left arrow Decrease the region area on the left.
alt + right arrow Decrease the region area on the right.
shift + left arrow Expand the region area by a larger amount to the left.
shift + right arrow Expand the region area by a larger amount to the right.
shift + alt + left arrow Decrease the region area by a larger amount on the left.
shift + alt + right arrow Decrease the region area by a larger amount on the right.

视频专用快捷键

在使用Video标签标注视频数据时,您可以使用特定的快捷键来执行视频相关操作。

描述
alt + spacebar Play or pause video.
alt + left arrow Rewind one frame.
alt + right arrow Fast forward one frame.

自定义快捷键

您可以使用Shortcut标签为标注任务指定自定义快捷键,或通过环境变量修改特定操作对应的快捷键。

如需修改特定操作使用的快捷键,可在.env文件或启动Label Studio时,通过设置EDITOR_KEYMAP环境变量并传入有效的JSON值来实现。例如,要将提交标注的键盘快捷键改为shift + s,可按如下方式设置环境变量:

EDITOR_KEYMAP='{"annotation:submit":{"key": "shift+s","description": "My Custom Submit Hotkey!"}}'

这将用您的自定义映射覆盖现有的快捷键映射。详情请参阅关于如何设置环境变量的更多信息

请参考keymap.json文件中可自定义快捷键的完整列表,以更新不同的快捷键组合。

您无法使用此环境变量来移除现有的或添加新的键盘快捷键。

自定义标注界面

标注时点击设置图标,可配置标注界面以适应您的标注用例。

例如,在创建标注区域后保持标签选中状态,在标注时在边界框、多边形和其他区域上显示标签,并为文本标注显示行号。


Figure 2: Customize the labeling interface

您还可以修改屏幕布局,隐藏或显示预测、标注或结果面板,以及隐藏或显示各种控件和按钮。

高级图像标注

如需进行高级图像标注,请参考以下示例和指南获取帮助。

为图像标注添加多种区域类型

您可以在图像标注中添加多种类型的区域。您可以添加以下任意一种:

  • 矩形
  • 椭圆
  • 关键点
  • 多边形
  • 笔刷遮罩

要为您的图像标注添加不同类型的区域,请参考以下示例。

使用以下示例为您的标注界面创建自定义模板:

<View>
  <Image name="image" value="$image" />
  <Rectangle name="rect" toName="image" />
  <Ellipse name="ellipse" toName="image" />
  <KeyPoint name="kp" toName="image" />
  <Polygon name="polygon" toName="image" />
  <Brush name="brush" toName="image" />
  <Choices name="choices" toName="image">
    <Choice value="yes"></Choice>
    <Choice value="no"></Choice>
  </Choices>
  <Labels name="labels" toName="image" fillOpacity="0.5" strokeWidth="5">
    <Label value="building" background="green"></Label>
    <Label value="vehicle" background="blue"></Label>
  </Labels>
</View>

此示例为标注者提供了矩形、椭圆、多边形、关键点和笔刷遮罩工具,同时包含"是"和"否"的图像分类选项,以及"建筑物"和"车辆"的区域标签。

更快速的图像标注

只需两次点击即可在图像上添加矩形或椭圆,或双击创建多边形、矩形或椭圆。

如果在创建多边形时不小心在图像上选错了点,只需双击即可移除错误的点并继续创建区域。多边形上必须至少有三个点才能移除某个点。

创建无标签区域

在标注图像时,您可以创建区域而不应用标签。

  1. 使用上方Add multiple types of regions to image annotations部分提供的示例创建自定义模板。
  2. 选择您想在标注工具栏中使用的工具。您只需在第一个任务中进行此操作。
  3. 通过双击或点击并拖动创建边界框来创建区域,或点击必要的点来构建多边形。
  4. 在侧边栏或图像上选择已创建的区域。
  5. 选择您想要应用于该区域的标签。
  6. 对任何你想要创建的区域重复这些步骤。

这对于两步标注非常有用,即您希望一位标注者创建区域,而另一位标注者对这些区域进行标注。

擦除笔刷遮罩标签

如果在使用笔刷遮罩标注时出错,您可以擦除它。您必须先在侧边栏中选择一个笔刷区域,才能擦除其中的任何部分。

如果您想完全移除某个区域并重新开始,请删除该区域而不是擦除它。擦除区域并不会将其删除。

大纲视图

大纲视图采用多面板设计,替代了原有的界面。这一功能优化了用户体验,在两列布局(大纲视图详情面板)中容纳更多数据,并为区域操作提供更多选项。例如,图像分割是唯一支持在详情面板使用自定义控件的标注类型。

功能特性

大纲区域是您可以查看所有标注详情、区域和标注历史记录的地方。它分为两个面板,分别称为大纲详情。图3展示了右侧图像的大纲面板和左侧图像的详情面板的外观。


Figure 3: View of Outliner and Details panels view

面板操作

有两个面板作为区域列表的大纲视图。这些面板可以折叠、移动、交换位置、拖放以及展开为全屏视图。例如,如果您导航到标注流模式,在此模式下将获得更多空间。

大纲视图详情面板可折叠也可分离,您可以根据需要自由排列。图4展示了折叠详情按钮,通过它您可以收起详情面板以充分利用屏幕剩余空间。


Figure 4: Collapsed details button

现在,详情面板已折叠,您可以点击展开详情图标来展开它。
图5:折叠状态下的详情面板

详细信息面板以展开视图显示,以便探索该功能。


Figure 6: Details panel in expanded view

要折叠大纲面板,请点击折叠大纲图标。


Figure 7: Collapse outliner button

现在,大纲视图面板处于折叠状态,您可以通过点击展开详情图标来展开它。
图8:折叠状态下的大纲视图面板

展开详情图标可展开大纲视图面板以进行更多操作。


Figure 9: Outliner panel with expand outliner icon

大纲面板以展开视图显示,便于探索功能。
图10:展开视图下的大纲面板

这些面板是可拆卸的,您可以将它们放置在屏幕上的任意位置,并且可以调整它们的大小。


Figure 11: Details panel in floating dock view

区域编辑器

您可以在专注于标注的情况下编辑区域。您可以放大并精确控制每个区域属性的数值和尺寸。图像区域的详细信息,如高度、旋转等,可以通过详情面板中的输入框进行调整。现在,您可以折叠所有面板以获得最大的工作区域。这一功能设计使产品用户界面中的某些操作更加清晰明了。


Figure 12: Edit regions using different attributes

备注

在即将发布的版本中,视频分割功能将支持控制关键帧、动画和自定义元数据。


Figure 13: Comments box

备注

使用Outliner来处理更大的标注任务(例如一张图片中有多个边界框、较长的视频等)。

要在OCR转录模板中添加区域,请绘制一个矩形,您可以在大纲面板中看到出现的文本框用于输入OCR文本。新功能允许您选择一个区域,详情面板会随之变化。您可以体验以下功能:

  • 查看附加到OCR案例的文本。
  • 控制矩形的坐标。例如,您可以旋转、移动和调整坐标大小。
  • 锁定区域以防止其移动。
  • 隐藏/锁定区域。
  • 使用移动工具防止区域的移动。
  • 隐藏或显示选定区域。

Figure 13: Text inside outliner

区域分组或排序

您可以通过下拉列表中的以下功能对区域进行分组或排序。

  • 手动分组: 手动区域分组(拖放操作)。选择此选项时,您可以将区域拖放到彼此内部,创建树状结构,并将区域分组在一起。
  • 按工具分组: 选择此选项时,将添加工具(矩形、多边形)。您可以使用包含所有这些工具的模板,通过生成区域的工具对区域进行分组。
  • 按标签分组: 当您选择此选项并绘制区域时,现在您将看到一个文本标签,可以展开它。该文本标签仅显示与此功能相关的文本。

警告

按标签分组按工具分组选项不适用于多图像场景或多标注类型场景;在此模式下仅可使用手动分组选项。

您还可以通过按分数排序按时间排序选项来排列您的区域。


Figure 14: Group by label using sorted by score
Figure 15: Group by tool using sorted by score
Figure 16: Group by label using sorted by score
Figure 17: Manual grouping

区域的预测指示 此功能显示该区域是否由ML模型创建。

关系列表 一个区域属于另一个区域。这通常用于NLP类型的文本处理。例如,将城市名称设为区域1,区县名称设为区域2。在关系列表层级中,您需要将区域2放置在区域1之下。区域之间的关系可以是单向或双向的。您可以将一个区域吸附到另一个区域中。

备注

关系列表不支持区域的多级列表。

在另一个对象上绘制边界框

重要

在为图像创建边界框标注时,切勿在另一个边界框内部开始绘制边界框,因为这会导致拖动第一个框。相反,当选择矩形工具时,它会在图像前方创建一个新的边界框。

要在顶部创建边界框,您可以使用两种方式:

  1. 按下矩形工具 (R)。

备注

此选项并非始终可见。

  1. 标注一个边界框,然后在其中再标注另一个边界框。

现在,当未选中矩形工具时,您应该能够进行拖动操作。请注意,当选中矩形工具时,即使位于另一个矩形上方,您也可以创建新矩形。

或者

  1. 按住CTRL键并在另一个边界框上开始绘制。

Label Studio 如何将结果保存在标注中

在标注任务时创建的每个注释都包含区域和结果。

  • 区域指数据中被选中的部分,无论是文本片段、图像区域、音频段落还是其他实体。
  • 结果指分配给该区域的标签。

每个区域在每条标注中都有一个唯一的ID,由A-Za-z0-9_-字符组成的字符串构成。每个结果ID与其所应用的区域ID相同。

当使用预测结果创建标注时,标注字段中的结果ID保持不变。这使您能够追踪机器学习模型生成的区域,并将其与人工创建和审核的标注直接进行比较。