自托管连接器

除了从源代码运行连接器服务外，您还可以使用官方 Docker 镜像在容器中运行该服务。

作为前提条件，您需要有一个正在运行的Elasticsearch和Kibana实例。 在您的Kibana界面中，您需要按照初始设置进行操作，就像您从源代码运行服务一样。

当你准备好运行连接器时：

步骤1：下载示例配置文件

下载示例配置文件。 您可以手动下载，也可以运行以下命令：

curl https://raw.githubusercontent.com/elastic/connectors/main/config.yml.example --output </absolute/path/to>/connectors-config/config.yml

不要忘记将 --output 参数的值更改为您希望在本地系统上保存 config.yml 文件的路径。 但请记住您将此文件保存的位置，因为这在下面的 docker run 步骤中是必需的。

步骤2：更新您自托管连接器的配置文件

使用以下设置更新配置文件以匹配您的环境：

如果你正在针对Docker化的Elasticsearch和Kibana版本运行连接器服务，你的配置文件将如下所示：

# When connecting to your cloud deployment you should edit the host value
elasticsearch.host: http://host.docker.internal:9200
elasticsearch.api_key: <ELASTICSEARCH_API_KEY>

connectors:
  -
    connector_id: <CONNECTOR_ID_FROM_KIBANA>
    service_type: Zoom # sharepoint_online (example)
    api_key: <CONNECTOR_API_KEY_FROM_KIBANA> # Optional. If not provided, the connector will use the elasticsearch.api_key instead

第三步：运行 Docker 镜像

使用以下命令运行带有连接器服务的Docker镜像：

docker run \
-v "</absolute/path/to>/connectors-config:/config" \ # NOTE: you must change this path to match where the config.yml is located
--rm \
--tty -i \
--network host \
docker.elastic.co/integrations/elastic-connectors:9.0.0-beta1.0 \
/app/bin/elastic-ingest \
-c /config/config.yml

在官方注册表中查找所有可用的Docker镜像。

一旦连接器服务运行起来，就可以回到 Kibana UI 来完成连接器配置。 在这一步中，您需要添加有关数据源实例的特定连接详细信息，如 URL、授权凭证等。 如上所述，这些详细信息会根据您连接的第三方数据源而有所不同。

例如，PostgreSQL 连接器需要以下详细信息：

您现在可以运行同步了。 在 Kibana UI 中选择 全量同步 按钮以开始将文档导入 Elasticsearch。

运行连接器的基本方式是克隆仓库并在本地运行代码。 如果你熟悉Python并且希望快速迭代，这是一个不错的选择。

在Kibana UI中遵循连接器工作流程，以选择连接器摄取方法。

接下来，完成以下步骤：

一旦您创建了索引并输入了数据源的访问详情，您就可以部署连接器服务了。

首先，你需要克隆 elastic/connectors 仓库。

请按照以下步骤操作：

一旦配置了连接器代码，您就可以运行连接器服务。

在您的终端或IDE中：

连接器服务现在应该正在运行。 UI会通知您连接器已成功连接到您的Elasticsearch实例。

提醒一下，这里我们是在本地工作。 在生产环境中，您需要将连接器服务部署到您自己的基础设施中。

使用我们的 Docker Compose 快速入门，轻松设置一个完整的自托管堆栈，并尝试 Elastic Connectors。

我们提供了一个脚本来使用 Docker Compose 启动并运行 Elasticsearch、Kibana 和 Connectors 实例。 该脚本会在启动前提示您配置 Connectors。 此外，您可以使用同一组脚本来手动配置 Connectors 并运行堆栈。

有关更多信息，请参阅README中的elastic/connectors源代码库。

本教程将引导您完成为 PostgreSQL 数据源创建自管理连接器的过程。 您将使用 Kibana UI 中的 自管理连接器 工作流程。 这意味着您将在自己的基础设施上部署连接器。 有关此连接器的更多信息，请参阅 Elastic PostgreSQL 连接器参考。

您将使用连接器框架来创建连接器。 在本练习中，您将在终端（或您的IDE）和Kibana UI中进行操作。

如果您想为另一个数据源部署一个自托管连接器，请使用本教程作为蓝图。 请参阅可用自托管连接器的列表。

首先，确保您满足自管理连接器的前提条件。

你需要：

ALTER SYSTEM SET track_commit_timestamp = on;

要完成本教程，您需要完成以下步骤：

弹性连接器使您能够在Elasticsearch中创建数据源的可搜索、只读副本。 设置自管理连接器的第一步是创建一个索引。

在 Kibana 用户界面中，转到 搜索 > 内容 > Elasticsearch 索引。

创建一个新的连接器索引：

索引已创建并准备好进行配置。

一旦您创建了索引，您就可以设置连接器。 您将在用户界面中引导完成此过程。

现在您已经配置了连接器代码，可以运行连接器服务了。

在您的终端或IDE中：

连接器服务现在应该正在运行。 UI会通知您连接器已成功连接到Elasticsearch。

这里我们在本地工作。 在生产环境中，您需要将连接器服务部署到您自己的基础设施中。 如果您更喜欢使用 Docker，请参考 repo docs 获取说明。

一旦配置了连接器，您就可以使用它来索引您的数据源。

您现在可以在 Kibana UI 中输入您的 PostgreSQL 实例详细信息。

输入以下信息：

一旦您输入了所有这些详细信息，请选择保存配置。

如果您在 Kibana UI 中导航到 概览 选项卡，您可以看到连接器的 摄取状态。 此时应该已经更改为 已配置。

现在是时候通过选择同步按钮来启动同步了。

如果您导航到运行连接器服务的终端窗口，您应该会看到类似以下的输出：

[FMWK][13:22:26][INFO] Fetcher <create: 499 update: 0 |delete: 0>
[FMWK][13:22:26][INF0] Fetcher <create: 599 update: 0 |delete: 0>
[FMWK][13:22:26][INFO] Fetcher <create: 699 update: 0 |delete: 0>
...
[FMWK][23:22:28][INF0] [oRXQwYYBLhXTs-qYpJ9i] Sync done: 3864 indexed, 0 deleted.
(27 seconds)

这确认了连接器已从您的 PostgreSQL 表中获取记录，并将其转换为 Elasticsearch 索引中的文档。

在 Kibana UI 的 文档 标签页中验证您的 Elasticsearch 文档。

如果你对结果满意，请在调度标签页中设置一个定期同步计划。 这将确保你的Elasticsearch中的可搜索数据始终与PostgreSQL数据源的更改保持同步。