指南 3个标注团队操作手册:提升标注速度与质量

命名实体识别

如果要对文本样本执行命名实体识别(NER),请使用此模板。该模板支持重叠文本跨度及超长文档。

交互式模板预览

标注配置

<View>
  <Labels name="label" toName="text">
    <Label value="PER" background="red"/>
    <Label value="ORG" background="darkorange"/>
    <Label value="LOC" background="orange"/>
    <Label value="MISC" background="green"/>
  </Labels>
  <Text name="text" value="$text"/>
</View>

关于标注配置

所有标注配置必须包含在View标签内。

使用Labels控制标签来指定应用于不同文本范围的相关NER标签:

<Labels name="label" toName="text">
    <Label value="PER" background="red"/>
    <Label value="ORG" background="darkorange"/>
    <Label value="LOC" background="orange"/>
    <Label value="MISC" background="green"/>
</Labels>

使用Label控制标签中的background参数来指定标签的CSS颜色。

使用Text对象标签来指定文本数据:

<Text name="text" value="$text"/>

增强此模板

您可以通过多种方式增强此模板。

在左侧显示标签

如果想修改标注界面的外观样式,可以在View标签上应用样式。本示例将NER标签显示在待标注文本的左侧。

首先将整个标注界面显示设置为flex布局:

<View style="display: flex;">

然后使用不同的View标签来包裹标签。由于标签在文本之前列出,它们会显示在界面的左侧。

<View style="width: 250px; margin-right: 1em; padding: 1em; background: #343c7f;">

此标签的样式设置了界面中标签区域的宽度,在标签和文本之间添加了右边距,为标签周围添加了内边距,并为界面的这一部分设置了背景颜色。

然后你可以像往常一样添加Labels控制标签来显示NER标注:

<Labels name="label" toName="text" showInline="false">
  <Label value="PER" background="red"/>
  <Label value="ORG" background="darkorange"/>
  <Label value="LOC" background="orange"/>
  <Label value="MISC" background="green"/>
</Labels>

关闭带有标签的查看标签,并为文本标签打开一个新的标签:

</View>
<View>

Text 对象标签用于指定待标注的文本:

<Text name="text" value="$text"></Text>

然后您可以关闭剩下的两个视图标签。

强制单词对齐

如果您希望在标注任务中仅允许标注完整单词并强制单词对齐,可以在Text对象标签上使用granularity参数,以确保NER任务中所有高亮显示的跨度都是完整的单词。

例如,按如下方式调整您的Text标签:

<Text name="text" value="$text" granularity="word" />

为特定NER实体添加上下文

如果想为特定的NER实体添加上下文,可以在NER模板中设置条件性的按区域标注

例如,提示标注者选择文本样本中每个文本片段的相关性:

<Choices name="relevance" toName="text" perRegion="true">
    <Choice value="Relevant" />
    <Choice value="Non Relevant" />
</Choices>

perRegion 参数表示这些选择选项适用于每个文本片段区域。

您还可以结合View标签和Rating控件的perRegion参数,提示标注者对每个单独文本片段区域的准确性进行置信度评分:

<View visibleWhen="region-selected">
    <Header value="Your confidence" />
</View>
<Rating name="confidence" toName="text" perRegion="true" />

带有View标签的visibleWhen参数表示当选择特定区域时,标题会出现,提示标注者为该区域提供评分。

筛选长标签列表

如果想筛选一长串标签列表,请在标注配置中添加Filter标签。例如,要筛选命名实体识别标签,可添加以下内容:

<Filter name="filter" toName="label" hotkey="shift+f" minlength="1" />
<Labels name="label" toName="text" showInline="false">
    <Label value="PER" background="red"/>
    <Label value="ORG" background="darkorange"/>
    <Label value="LOC" background="orange"/>
    <Label value="MISC" background="green"/>
</Labels>

Filter标签中的toName参数引用Labels标签的name参数。您还可以指定用于过滤文本框的hotkey快捷键,并通过设置minlength参数来指定触发标签列表过滤所需输入的最小字符数。