指南 3个标注团队操作手册:提升标注速度与质量

情感分析文本分类

使用此模板对文本情感进行分类。例如,如果您想对在线零售商销售乐器的评论进行情感分类。

交互式模板预览

标注配置

<View>
  <Header value="Choose text sentiment:"/>
  <Text name="my_text" value="$reviewText"/>
  <Choices name="sentiment" toName="my_text" choice="single" showInline="true">
    <Choice value="Positive"/>
    <Choice value="Negative"/>
    <Choice value="Neutral"/>
  </Choices>
</View>

关于标注配置

所有标注配置必须包含在View标签内。

您可以添加一个header来为标注者提供说明:

<Header value="Choose text sentiment:"/>

使用Text对象标签来显示待分类的文本:

<Text name="my_text" value="$reviewText"/>

使用Choices控制标签为标注者提供分类选项,允许他们仅选择一个选项,并将选项显示在一行中:

<Choices name="sentiment" toName="my_text" choice="single" showInline="true">
    <Choice value="Positive"/>
    <Choice value="Negative"/>
    <Choice value="Neutral"/>
</Choices>

增强此模板

您可以通过多种方式增强此模板。

执行多分类

您可以使用样式来视觉区分不同的分类选项,为标注人员提供一个文本的多分类任务。

例如,将单个Choices控件的各个选项选项包裹在调整样式的View标签中:

<Choices name="sentiment" toName="text" choice="multiple">
  <View style="display: flex; justify-content: space-between">
    <View style="width: 50%">
      <Header value="Select Topics" />
      <Choice value="Politics"/>
    <Choice value="Business"/>
    <Choice value="Sport"/>
    </View>
    <View>
      <Header value="Select Moods" />
      <Choice value="Cheerful"/>
    <Choice value="Melancholy"/>
    <Choice value="Romantic"/>
    </View>
  </View>
</Choices>

在每个部分添加Header标签,以便在界面上视觉区分不同选项,同时仍将所有选项与文本样本一起存储在标注中。

在三列中组合多种类型的标注

除了文本分类外,您还可以在一个标注任务中执行其他类型的标注。在本示例中,您可以在标注界面上创建三列视图,其中待标注的文本样本位于中间列,分类选项和命名实体识别标签位于其他列。由于标注配置中的标签是按顺序呈现的,元素的排列顺序决定了每列显示的内容。

首先为标注配置的View标签添加样式以实现弹性布局:

<View style="display: flex;">

然后使用带有新View标签的样式来为命名实体识别标签创建一个列:

<View style="width: 150px; padding: 0 1em; margin-right: 0.5em; background: #f1f1f1; border-radius: 3px">    
  <Labels name="label" toName="text">
    <Label value="Person" />
    <Label value="Organization" />
  </Labels>
</View>

在另一组View标签中指定Text对象标签,将其放置在中间列。

<View>
  <Text name="text" value="$text" />
</View>

然后创建第三列,使用View标签来显示可用的Choices分类选项,包括一个Header为标注者提供指导:

<View style="padding: 0 1em; margin-left: 0.5em; background: #f1f1f1; border-radius: 3px">
  <Choices name="importance" toName="text">
    <Header value="Text Importance" />
    <Choice value="High" />
    <Choice value="Medium" />
    <Choice value="Low" />
  </Choices>
</View>

别忘了关闭原始的View标签:

</View>

使用嵌套选项增强分类模板

您可以在任何分类模板中添加条件或嵌套选项。如果您希望分类选项仅在满足特定条件时显示,例如标注者选择了某些特定选项,可以参考这些条件和嵌套分类示例进行调整。

条件分类

您可以使用ViewChoices标签提供的条件参数来创建条件分类任务。在这个示例中,您可以根据第一个文本样本的选择结果显示额外的文本样本和分类任务。

从您想要分类的数据类型对应的对象标签开始。这个示例使用了Text对象标签来进行文本分类示例,但您可以将其调整为图像或音频分类任务:

<Text name="text1" value="$text1" />

使用Choices控制标签来显示分类选项。name参数标识选项的用途,toName参数引用应用这些选项的文本样本。

<Choices name="sentiment" toName="text1" showInline="true">
    <Choice value="Positive" />
    <Choice value="Negative" />
    <Choice value="Neutral" />
</Choices>

创建一个条件性的View标签,该标签仅在选项被选中时显示,visibleWhen="choice-selected",特别是当选项作为Choices标签的一部分被选中时,且name参数设置为sentimentwhenTagName="sentiment",并且选中的选项是PositivewhenChoiceValue="Positive"。必须同时使用whenTagNamewhenChoiceValue

<View visibleWhen="choice-selected"
      whenTagName="sentiment" whenChoiceValue="Positive">
    <Header value="What about this text?" />
    <Text name="text2" value="$text2" />
</View>

在这种情况下,视图标签用提供标注说明的标题包裹了第二个文本样本。

第二个Choices控制标签显示专门适用于第二段文本的分类选项,通过toName="text2"指定。这些选项与标题和文本样本具有相同的条件设置,通过visibleWhen="choice-selected"whenTagName="sentiment"whenChoiceValue="Positive"指定。

<Choices name="sentiment2" toName="text2"
         choice="single" showInline="true"
         visibleWhen="choice-selected"
         whenTagName="sentiment"
         whenChoiceValue="Positive">
    <Choice value="Positive" />
    <Choice value="Negative" />
    <Choice value="Neutral" />
</Choices>

两级嵌套分类

您还可以在任务中无需第二组数据的情况下执行条件分类。在这种情况下,您需要创建两组Choices控制标签,其中第二组选项依赖于第一组。例如,在一个分类任务中,您希望为标注者选择的特定选项收集更多详细信息。

首先为您想要分类的数据类型选择一个对象标签。这个示例使用了Image对象标签来进行图像分类示例,但您可以将其调整为文本或音频分类任务:

<Image name="image" value="$image"/>

使用Choices控制标签来显示分类选项。name参数标识选项的用途,toName参数引用这些选项所适用的数据。

<Choices name="content" toName="image">
    <Choice value="Adult content"/>
    <Choice value="Weapons" />
    <Choice value="Violence" />
</Choices>

在配置中添加第二个Choices控制标签,用于显示与分类任务相关的其他属性。在这种情况下,当从先前指定的分类选项中选择任何选项时(通过visibleWhen="choice-selected"whenTagName="content"参数值指定),选择选项将会显示。

<Choices name="other-props" toName="image"
         choice="single" showInline="true"
         visibleWhen="choice-selected"
         whenTagName="content">
    <Header value="Are there people or animals?" />
    <Choice value="Yes" />
    <Choice value="No" />
</Choices>

三级嵌套分类

您可以将分类选项嵌套超过两个层级。在这种情况下,您可以创建三组Choices控件标签。第二组选项取决于第一组中任何被选中的选项,而第三组选项又取决于第二组中的特定选项。您可以结合此处描述的参数选项,创建比此示例更复杂或更简单的嵌套条件分类任务。

首先为您想要分类的数据类型选择一个对象标签。这个示例使用了Audio对象标签来进行音频分类示例,但您可以将其调整为文本或图像分类任务:

<Audio name="audio" value="$audio" />

使用Choices控制标签来显示分类选项。name参数标识选项的用途,toName参数引用这些选项所适用的数据。

<Choices name="intent" toName="audio" showInline="true">
    <Choice value="Positive" />
    <Choice value="Negative" />
    <Choice value="Neutral" />
</Choices>

在配置中添加第二个Choices控制标签,以显示与分类任务相关的其他属性。在这种情况下,当从早期分类选项中选择任何选项时,会出现选择选项,由visibleWhen="choice-selected"whenTagName="intent"参数值指定。

<Choices name="other-props" toName="audio"
         choice="single" showInline="true"
         visibleWhen="choice-selected"
         whenTagName="intent">
    <Header value="Other properties of the audio clip" />
    <Choice value="Noisy" />
    <Choice value="Clear" />
</Choices>

添加第三个Choices控制标签,用于提示标注者为特定选项添加额外细节。在本例中,当标注者从上一组选项中选择Noisy时会出现这些选项,这是通过whenChoiceValue="Noisy"参数指定的。whenChoiceValue参数必须与whenTagName参数一起使用,本例中引用了包含Noisy选项的Choices标签的name参数,即whenTagName="other-props"visibleWhen="choice-selected"参数控制这些选项的可见性。

<Choices name="emotion" toName="text"
         choice="single" showInline="true"
         visibleWhen="choice-selected"
         whenTagName="other-props"
         whenChoiceValue="Noisy">
    <Header value="What type of noise?" />
    <Choice value="Crowd" />
    <Choice value="Machinery" />
    <Choice value="Traffic" />
    <Choice value="Unsure/Other" />
</Choices>