管理主题

edit

请参考以下部分:

连接器可扩展性

edit

冗余

edit

用户可以创建一个具有相同连接器服务设置(设置、代码等)的备份(辅助)服务器。如果运行连接器服务的主服务器发生故障,用户可以在辅助服务器上启动连接器服务并重新启动同步作业。由于连接器定义和作业状态信息都存储在Elasticsearch中,因此在切换服务器时不会存在数据丢失或损坏的风险。

然而,请注意,任何正在进行中的同步操作都需要从头开始重新启动,无法从中断的地方继续进行。

故障转移

edit

目前没有自动故障转移或负载转移的功能。如果运行连接器服务的服務器发生故障,所有未完成的连接器同步任务将进入挂起状态。当连接器服务恢复(或启动替代的连接器服务)时,它将识别需要清理的任何任务,并自动重新启动(从头开始)挂起的任务。

工作负载平衡

edit

目前,单个同步作业的工作负载没有在多个连接器服务部署之间进行划分/平衡。 一旦同步作业被一个连接器服务认领,它将运行该作业直至完成 - 除非连接器服务实例失败。 在这种情况下,另一个连接器服务实例将接管被挂起的作业并从头开始重新启动它。

在8.8.0+版本中,当多个连接器服务连接到同一个Elasticsearch集群时,连接器服务提供并发控制,具有以下预期:

  • 可以为给定的搜索索引安排多个同步作业,但在任何单个时间点,只能为搜索索引执行1个同步作业。
  • 每个同步作业只能被1个连接器服务认领。
  • 只有1个连接器服务可以同时执行管理任务,例如:填充服务类型和配置、验证过滤器等。

水平可扩展性

edit

如果运行了多个连接器服务,并且配置为允许通过其service.max_concurrent_syncs设置进行并发同步,则可以实现水平扩展。

假设上,多个连接器服务在某种程度上会自然地进行负载均衡,即使我们目前没有明确的负载均衡功能。

连接器安全性

edit

本文档描述了托管连接器自管理连接器的安全注意事项。

Elastic Cloud 部署具有强大的安全默认设置。 例如,无论是静态数据还是传输中的数据,默认情况下都会进行加密。

自托管部署需要更多前期工作以确保强大的安全性。 请参阅 Elasticsearch 文档中的 保护 Elastic Stack 以获取更多信息。

访问凭据

edit

数据源的凭证(如API密钥或用户名/密码对)存储在您的部署的.elastic-connectors Elasticsearch索引中。 因此,具有该索引read 索引权限的所有Elastic用户都可以看到这些凭证。 默认情况下,以下Elastic用户拥有此权限:elastic超级用户和kibana_system用户。 企业搜索服务账户令牌也可以读取.elastic-connectors索引。

访问内部存储的API密钥

edit

Elastic 托管连接器的 API 密钥存储在内部系统索引 .connector-secrets 中。 对该索引的访问仅限于授权的 API 调用。 需要集群权限 write_connector_secrets 才能通过 API 存储或更新密钥。 只有 Enterprise Search 实例有权从该索引读取数据。

文档级安全
edit

文档级安全性适用于部分连接器。 以下连接器默认支持DLS:

了解更多关于此功能的信息,请参阅文档级安全,包括可用性和先决条件。

访问文档

edit

从您的数据源同步的数据存储在您创建的 Elasticsearch 索引中的文档中。 所有对该索引具有 read indices privilege 的 Elastic 用户都可以看到这些数据。 请注意,确保对该索引的访问权限至少与对原始数据源的访问权限一样严格。

加密

edit

Elastic Cloud 自动加密静态数据。 传输中的数据使用 https 自动加密。

自托管部署必须实现静态加密。 有关更多信息,请参阅 Elasticsearch 文档中的为 Elastic Stack 配置安全性

故障排除连接器

edit

使用以下操作来帮助诊断和解决与托管连接器自管理连接器相关的问题:

您也可以请求帮助或支持。

连接器日志

edit

本文档描述了托管连接器自管理连接器的日志。

启用日志

edit
弹性云
edit

Elastic Cloud 用户需要启用日志记录以查看连接器日志。 前往云 > 部署 > 您的部署 > 日志和指标以启用日志。

启用后,您可以在Kibana中查看日志

配置企业搜索的log_level用户设置。请参阅Elastic Cloud文档中的添加企业搜索用户设置

自托管连接器
edit

请注意,自管理部署和自管理连接器日志会写入STDOUT

自托管连接器具有以下日志记录选项:

  • 在连接器服务配置文件中使用service.log_level设置来指定服务的日志级别。

    • 启用elasticsearch.bulk.enable_operations_logging以记录从连接器发送文档到Elasticsearch的结果,用于审计和调试。此设置依赖于service.log_level,并将以DEBUG级别记录。
  • 使用elasticsearch.log_level设置来指定连接器服务使用的Elasticsearch客户端的日志级别。

查看连接器日志

edit

您可以在 Kibana 中查看日志。

您可以按 service.type 进行过滤:

  • enterprise-search
  • connectors

日志参考

edit

日志使用 Elastic Common Schema (ECS),没有扩展。 参见 ECS 参考 了解更多信息。

记录的字段包括:

  • @timestamp
  • log.level
  • ecs.version
  • labels.index_date
  • tags
  • log.logger
  • service.type
  • service.version
  • process.name
  • process.pid
  • process.thread.id

请参阅 Elasticsearch 文档中的日志记录以获取更多信息。