搜索中的摄取管道

当您通过内容界面创建索引时，还会创建一组默认的摄取管道，包括一个机器学习推理管道。 机器学习推理管道使用推理处理器来分析字段并使用输出丰富文档。 推理处理器使用经过机器学习训练的模型，因此您需要使用内置模型或在您的集群中部署训练好的模型来使用此功能。

本指南重点介绍ML推理管道、其用途以及如何管理它。

自然语言处理 (NLP) 使开发者能够创建超越词汇搜索标准的丰富搜索体验。 通过使用NLP模型来改善搜索体验的一些示例：

使用 Elastic 的 ELSER 机器学习模型，您可以轻松地为查询引入文本扩展。 这是通过使用 ELSER 在摄取文档时提供语义增强，并结合 Elastic 搜索应用程序模板 的强大功能，在查询时提供自动文本扩展来实现的。

最常用于从文本中检测实体，如人物、地点和组织信息，NER 可以用于从文本中提取关键信息，并根据该信息对结果进行分组。 一家体育新闻媒体网站可以使用 NER 自动提取文章中的职业运动员姓名、体育场馆和运动队，并链接到赛季统计数据或赛程。

文本分类通常用于情感分析，并且可以用于类似的任务，例如在公共论坛中标记包含仇恨言论的内容，或对支持工单进行分类和标记，以便它们能够自动到达正确的升级级别。

使用文本嵌入模型分析文本字段将生成文本的密集向量表示。 这个数值数组编码了文本的语义含义。 使用相同的模型处理用户的搜索查询将生成一个向量，然后可以使用该向量进行搜索，根据向量相似性（语义相似性）对结果进行排序，而不是传统的单词或文本相似性。

一个常见的用例是用户搜索常见问题解答，或支持代理搜索知识库，其中语义上相似的内容可能在措辞上几乎没有相似之处。

下图展示了文档在摄取过程中是如何被处理的。

此功能旨在使您更容易使用经过训练的机器学习模型。 首先，您需要确定哪个模型最适合您的数据。 请确保使用兼容的第三方NLP模型。 由于这些模型是公开可用的，因此在部署它们之前无法进行微调。

训练好的模型必须在当前的Kibana Space中可用并运行才能使用。默认情况下，模型应在启用了分析 > 机器学习功能的Kibana Space中可用。要管理您的训练模型，请使用Kibana UI并导航到堆栈管理 → 机器学习 → 训练模型。可以在空间列中控制空间。要停止或启动模型，请转到Kibana的分析菜单中的机器学习选项卡，然后点击模型管理部分中的训练模型。

要创建特定索引的机器学习推理管道，请在 Kibana UI 中转到 搜索 → 内容 → 索引 → <您的索引> → 管道。

如果你只看到 ent-search-generic-ingestion 管道，你需要点击 复制并自定义 来创建索引特定的管道。 这将创建 {index_name}@ml-inference 管道。

一旦您的索引特定的机器学习推理管道准备就绪，您可以添加使用您训练好的机器学习模型的推理处理器。 要向机器学习推理管道添加推理处理器，请点击添加推理管道按钮在机器学习推理管道卡片中。

在这里，您将能够：

添加到您的索引特定机器学习推理管道中的推理处理器是普通的 Elasticsearch 管道。 一旦创建，每个处理器都会有选项来 在堆栈管理中查看 和 删除管道。 从 内容 UI 中删除推理处理器会删除该管道，并从您的索引特定机器学习推理管道中移除其引用。

这些管道也可以在 Kibana 中通过 堆栈管理 → 摄取管道 查看、编辑和删除，就像所有其他 Elasticsearch 摄取管道一样。 您也可以使用 摄取管道 API。 如果您在 Kibana 的 内容 UI 之外删除了这些管道中的任何一个，请确保编辑引用它们的 ML 推理管道。

在测试标签下创建机器学习推理管道时，您可以在索引任何文档之前验证推理输出的预期结构。 提供一个示例文档，点击模拟，并在结果中查找ml.inference对象。

为了确保在摄取文档时运行ML推理管道，您必须确保正在摄取的文档具有一个名为_run_ml_inference的字段，并且该字段设置为true，同时您必须将管道设置为{index_name}。 对于连接器和爬虫索引，如果您已为管道名称{index_name}适当地配置了设置，这将自动发生。 要管理这些设置：

本指南专注于一个具体的任务：将经过训练的机器学习模型加载到Elasticsearch中，并设置为丰富您的文档。

Elasticsearch 支持许多不同的方式来使用机器学习模型。 在本指南中，我们将使用一个训练好的模型来在摄取时丰富文档，使用在 Kibana 的 内容 UI 中配置的摄取管道。

在本指南中，我们将通过以下步骤完成上述内容：

按照说明加载一个文本分类模型，并将其设置为丰富一些照片评论数据。 一旦你对涉及的步骤感到满意，请将本指南作为使用其他机器学习训练模型的蓝图。

目录：

您的部署将需要一个机器学习实例来上传和部署训练好的模型。

如果你的团队已经有一个Elastic Cloud部署，请确保它至少有一个机器学习实例。 如果没有，请编辑你的部署以增加容量。 在本教程中，我们需要至少2GB的RAM在一个单一的机器学习实例上。

如果您的团队没有 Elastic Cloud 部署，请先注册一个 免费 Elastic Cloud 试用版。 创建帐户后，您将拥有一个有效的订阅，并会提示您创建您的第一个部署。

按照步骤来创建一个新的部署。 在创建部署之前，请确保在高级设置下为机器学习实例添加容量。 为了简化扩展，请开启自动扩展此部署功能。 如果您使用自动扩展，您应该增加机器学习实例的最小RAM。 在本教程中，我们需要至少2GB的RAM。 更多详情，请参阅Elastic Cloud文档中的创建部署。

使用机器学习丰富文档在企业搜索8.5.0中引入，因此请确保使用8.5.0或更高版本。

Elastic 的 Eland 工具使得通过 Docker 上传训练好的模型到您的部署变得简单。

Eland 是一个专门用于探索和操作数据的 Elasticsearch 客户端，我们可以使用它将训练好的模型上传到 Elasticsearch 中。

要使用 Docker 克隆并构建 Eland，请运行以下命令：

git clone git@github.com:elastic/eland.git
cd eland
docker build -t elastic/eland .

现在你已经有了一个部署和一个上传模型的方法，你需要选择一个适合你数据的训练模型。 Hugging Face 有一个大型公开可用的训练模型库。 你选择的模型将取决于你的数据以及你希望如何使用它。

在本指南中，我们假设我们有一个照片评论的数据集。 为了在我们的平台上营造一个积极的氛围，我们希望每张照片的前几条评论都是积极的评论。 对于这个任务，distilbert-base-uncased-finetuned-sst-2-english 模型是一个很好的选择。

要将此模型上传到您的部署，您需要一些数据：

我们现在可以通过向Eland提供这些选项，将我们选择的模型上传到Elasticsearch。

docker run -it --rm --network host \
    elastic/eland \
    eland_import_hub_model \
      --url https://ml-test.es.us-west1.gcp.cloud.es.io:443 \
      -u elastic -p <PASSWORD> \
      --hub-model-id distilbert-base-uncased-finetuned-sst-2-english \
      --task-type text_classification \
      --start

这个脚本大约需要运行2-3分钟。 一旦您的模型成功部署到您的Elastic部署中，请导航到Kibana的训练模型页面以验证其是否准备就绪。 您可以在机器学习 > 分析菜单下找到此页面，然后选择训练模型 > 模型管理。 如果您在列表中没有看到您的模型，您可能需要点击同步您的作业和训练模型。 您的模型现在已准备好使用。

我们现在准备使用 Kibana 的 内容 UI 来使用推理数据丰富我们的文档。 在将照片评论导入 Elasticsearch 之前，我们将首先创建一个 ML 推理管道。 该管道将使用推理数据丰富传入的照片评论，指示评论是否为正面。

假设我们的照片评论在上传为文档到Elasticsearch时看起来像这样：

{
  "photo_id": "78sdv71-8vdkjaj-knew629-vc8459p",
  "body": "your dog is so cute!",
  ...
}

我们希望将我们的文档通过一个推理处理器，该处理器使用我们上传的训练模型来确定评论是否为正面。为此，我们首先需要设置一个Elasticsearch索引。

要配置ML推理管道，我们需要索引具有现有字段映射，以便我们可以选择要分析的字段。 这可以通过Kibana开发工具中的索引映射API或通过cURL命令简单完成：

PUT search-photo-comments/_mapping
{
  "properties": {
    "photo_id": { "type": "keyword" },
    "body": { "type": "text" }
  }
}

现在是时候创建一个推理管道了。

接下来，我们将添加一个推理管道。

您还可以通过模拟器运行示例文档，并在创建之前查看管道。

此时，所有内容都已准备好，可以在索引时丰富文档。

从Kibana开发控制台，或简单地使用cURL命令，我们可以索引一个文档。 我们将使用_run_ml_inference标志来告诉search-photo-comments管道运行我们创建的特定于索引的ML推理管道。 此字段将不会在文档中被索引。

POST search-photo-comments/_doc/my-new-doc?pipeline=search-photo-comments
{
  "photo_id": "78sdv71-8vdkjaj-knew629-vc8459p",
  "body": "your dog is so cute!",
  "_run_ml_inference": true
}

一旦文档被索引，使用API来检索它并查看增强的数据。

GET search-photo-comments/_doc/my-new-doc

{
  "_index": "search-photo-comments",
  "_id": "_MQggoQBKYghsSwHbDvG",
  ...
  "_source": {
    ...
    "photo_id": "78sdv71-8vdkjaj-knew629-vc8459p",
    "body": "your dog is so cute!",
    "ml": {
      "inference": {
        "positivity_result": {
          "predicted_value": "POSITIVE",
          "prediction_probability": 0.9998022925461774,
          "model_id": "distilbert-base-uncased-finetuned-sst-2-english"
        }
      }
    }
  }
}

文档中新增了包含丰富数据的字段。 ml.inference.positivity_result 字段是一个包含机器学习模型分析结果的对象。 我们使用的模型以 99.98% 的置信度预测所分析的文本是正面的。

从这里，我们可以编写搜索查询来提升ml.inference.positivity_result.predicted_value。 如果模型足够自信，此字段也将存储在顶级的positivity_result字段中。

在本指南中，我们介绍了如何：