Kibana 中的连接器 UI
editKibana 中的连接器界面
edit本文档描述了使用UI可用的操作,适用于托管连接器和自托管连接器。
在 Kibana 界面中,转到 搜索 > 内容 > 连接器 以查看所有连接器和同步作业的摘要,并创建新的连接器。
创建和配置连接器
edit您的连接器将数据写入 Elasticsearch 索引。
要创建托管连接器或自管理的自管理连接器,请使用搜索 > 内容 > 连接器下的按钮。 一旦您选择了要同步的数据源类型,系统将提示您创建一个Elasticsearch索引。
管理连接器索引
edit查看和管理由连接器管理的所有 Elasticsearch 索引。
在 Kibana 界面中,导航到 搜索 > 内容 > 连接器 以查看连接器索引及其属性的列表,包括连接器类型健康状况和摄取状态。
在此界面中,您可以选择查看每个现有索引的详细信息或删除索引。 或者,您可以创建一个新的连接器索引。
这些操作需要访问Kibana和额外的索引权限。
自定义连接器索引映射和设置
editElasticsearch 将您的数据存储为索引中的文档。每个索引由一组字段组成,每个字段都有一个类型(例如 keyword、boolean 或 date)。
映射是定义文档及其包含的字段如何存储和索引的过程。 连接器使用动态映射来自动创建基于从源获取的数据的映射。
索引 设置 是可以在每个索引基础上调整的配置。它们控制诸如索引的性能、使用的资源以及如何处理操作等事项。
当您使用连接器创建索引时,该索引会使用默认的搜索优化字段模板映射和索引设置创建。然后根据从源获取的数据动态创建特定字段的映射。
您可以通过以下方式检查索引映射:
- 在 Kibana 界面中:导航到 搜索 > 内容 > 索引 > YOUR-INDEX > 索引映射
- 通过 API:使用 获取映射 API
您可以手动编辑通过Elasticsearch API进行映射和设置:
- 使用Put mapping API来更新索引映射。
- 使用更新索引设置API来更新索引设置。
需要注意的是,当索引已经包含数据时,这些更新会更加复杂。
请参阅以下部分以获取更多信息。
在同步数据之前自定义映射和设置
edit当您的索引没有数据时,更新映射和设置会更简单。 如果您在设置连接器时创建并附加一个新索引,您可以在同步数据之前使用前面提到的API自定义映射和设置。
同步数据后自定义映射和设置
edit一旦使用动态映射将数据添加到Elasticsearch中,您就无法直接更新现有字段映射。 如果您已经将数据同步到索引中并希望更改映射,您需要重新索引您的数据。
这些更新的工作流程如下:
管理定期同步
edit在创建由连接器管理的索引后,您可以配置自动、定期的同步。
在 Kibana 界面中,导航到 搜索 > 内容 > 连接器。
选择要配置的索引,然后选择调度选项卡。
在此界面中,您可以启用或禁用计划任务:
- 完整内容同步
- 增量内容同步(如果支持)
- 访问控制同步(如果支持)
启用后,您还可以管理同步计划。
此操作需要访问 Kibana 以及对 .elastic-connectors 索引的 write indices privilege。
或者,您可以同步一次。
在启用定期同步或一次性同步后,首次同步将开始。 (连接器服务开始首次同步之前可能会有短暂的延迟。) 您可能希望查看索引详情以查看状态或错误,或查看已同步的文档。
同步一次
edit在创建由连接器管理的索引后,您可以随时请求单次同步。
在 Kibana 界面中,导航到 搜索 > 内容 > Elasticsearch 索引。
然后选择要同步的索引。
无论哪个标签页处于活动状态,右上角的同步按钮始终可见。 选择此按钮以显示同步选项:
- 完整内容
- 增量内容(如果支持)
- 访问控制(如果支持)
选择其中一个选项来请求同步。 (在连接器服务开始同步之前可能会有短暂的延迟。)
此操作需要访问 Kibana 以及对 .elastic-connectors 索引的 write indices privilege。
取消同步
edit同步开始后,您可以在同步完成之前取消同步。
在 Kibana 界面中,导航到 搜索 > 内容 > Elasticsearch 索引。
然后选择正在运行的同步索引。
无论哪个标签页处于活动状态,右上角的同步按钮始终可见。 选择此按钮以显示同步选项,并选择取消同步来取消活动的同步。 这将取消正在运行的作业,并将所有待处理和挂起的作业标记为已取消。 (连接器服务取消同步可能会有短暂的延迟。)
此操作需要访问 Kibana 以及对 .elastic-connectors 和 .elastic-connectors-sync-jobs 索引的 write indices privilege。
查看状态
edit查看索引详细信息,以了解传达索引和连接器状态的各种信息。
在 Kibana 界面中,导航到 搜索 > 内容 > Elasticsearch 索引。
然后选择要查看的索引。
The Overview tab presents a variety of information, including:
- 关于连接器索引的一般信息,例如:名称、描述、摄取类型、连接器类型和语言分析器。
- 影响连接器或同步过程的任何错误。
- 当前的摄取状态(可能的值见下文)。
- 当前的文档数量。
摄取状态的可能值:
- 未完成 - 尚未配置的连接器。
- 已配置 - 已配置的连接器。
- 已连接 - 可以成功连接到数据源的连接器。
- 错误 - 未能连接到数据源的连接器。
- 连接器故障 - 超过30分钟未收到任何更新的连接器。
- 同步失败 - 在上次同步作业中失败的连接器。
此选项卡还显示最近的同步历史记录,包括同步状态(可能的值见下文)。
同步状态的可能值:
- 同步待处理 - 初始作业状态,作业等待被拾取。
- 同步进行中 - 作业正在运行。
- 取消同步 - 已请求取消作业。
- 同步已取消 - 作业已被取消。
- 同步已暂停 - 由于服务关闭,作业被暂停,服务重启后可以恢复。
- 同步完成 - 作业成功完成。
- 同步失败 - 作业失败。
对于每次同步,选择视图按钮以显示作业详情,包括:
- 作业ID
- 文档统计信息,包括:添加/删除的文档数量、文档总数和添加的文档量
- 事件日志
- 同步请求时处于活动状态的同步规则
- 同步请求时处于活动状态的管道
此操作需要访问 Kibana 以及对 .elastic-connectors 索引的 read indices privilege。
查看文档
edit查看连接器从数据源同步的文档。 此外,查看索引映射以确定当前文档架构。
在 Kibana 界面中,导航到 搜索 > 内容 > Elasticsearch 索引。
然后选择要查看的索引。
选择文档标签以查看同步的文档。 选择索引映射标签以查看由连接器创建的索引映射。
在设置新连接器时,确保您从数据源获取的文档和字段是您所期望的。 如果没有,请参阅故障排除以获取帮助。
这些操作需要访问Kibana以及对包含文档的索引的读取和管理 索引权限。
查看安全以了解安全详情。
管理同步规则
edit使用同步规则来限制从数据源获取哪些文档,或限制哪些获取的文档存储在Elastic中。
在 Kibana 界面中,导航到 搜索 > 内容 > Elasticsearch 索引。
然后选择要管理的索引并选择同步规则标签。
管理摄取管道
edit使用ingest pipelines在数据存储到Elastic之前对其进行转换。
在 Kibana 界面中,导航到 搜索 > 内容 > Elasticsearch 索引。
然后选择要管理的索引并选择管道选项卡。