使用传统收集器收集监控数据

收集器，顾名思义，是用来收集数据的。每个收集器在每个收集间隔期间运行一次，以从Elasticsearch和X-Pack的公共API中获取它选择监控的数据。当数据收集完成后，数据会被批量交给导出器，以便发送到监控集群。无论有多少个导出器，每个收集器在每个收集间隔期间只运行一次。

每种收集的数据类型只有一个收集器。换句话说，对于任何创建的监控文档，它都来自一个单一的收集器，而不是从多个收集器合并而来。Elasticsearch 监控功能目前有多个收集器，因为目标是尽量减少它们之间的重叠，以实现最佳性能。

每个收集器可以创建零个或多个监控文档。例如，index_stats 收集器同时收集所有索引统计信息，以避免进行许多不必要的调用。

Elasticsearch 监控功能使用单线程调度器在每个节点上运行所有适当收集器的 Elasticsearch 监控数据收集。此调度器由每个节点本地管理，其间隔通过指定 xpack.monitoring.collection.interval 来控制，默认值为 10 秒（10s），可以在节点或集群级别进行设置。

从根本上说，每个收集器的工作原理都是相同的。在每个收集间隔期间，会检查每个收集器以确定它是否应该运行，然后运行相应的收集器。单个收集器的失败不会影响其他收集器。

一旦收集完成，所有监控数据都会传递给导出器，以将监控数据路由到监控集群。

如果在 Kibana 的监控图表中存在间隙，通常是因为收集器失败或监控集群未接收到数据（例如，它正在重新启动）。如果收集器失败，尝试执行收集的节点上应该存在记录的错误。

有关收集器的配置选项的更多信息，请参阅 监控收集设置。

Elasticsearch 监控功能还会接收来自 Elastic Stack 其他部分的监控数据。通过这种方式，它作为堆栈的非计划监控数据收集器。

默认情况下，数据收集是禁用的。Elasticsearch 监控数据不会被收集，来自其他来源（如 Kibana、Beats 和 Logstash）的所有监控数据也会被忽略。您必须将 xpack.monitoring.collection.enabled 设置为 true 以启用监控数据的收集。请参阅 监控设置。

一旦数据被接收，它会被转发到导出器，以便像所有监控数据一样路由到监控集群。

在收集和处理监控数据时，会将一些生产集群的元数据添加到传入的文档中。这些元数据使 Kibana 能够将监控数据链接到相应的集群。如果这种链接对您正在监控的基础设施不重要，那么配置 Logstash 和 Beats 直接将监控数据报告到监控集群可能会更简单。这种情况还可以防止生产集群因监控数据而增加额外的开销，当存在大量 Logstash 节点或 Beats 时，这非常有用。

有关典型监控架构的更多信息，请参阅 工作原理。

导出器的作用是从任何 Elastic Stack 源收集的数据并将其路由到监控集群。可以配置多个导出器，但通常和默认的设置是使用单个导出器。

Elasticsearch中有两种类型的导出器：

两个导出器服务于相同的目的：设置监控集群并路由监控数据。然而，它们以非常不同的方式执行这些任务。尽管方式不同，但两个导出器都能够发送所有相同的数据。

导出器可以在节点和集群级别进行配置。集群范围的设置，通过_cluster/settings API更新，优先于每个节点上的elasticsearch.yml文件中的设置。当你更新一个导出器时，它会被更新版本的导出器完全替换。

当导出器将监控数据路由到监控集群时，它们使用_bulk索引以获得最佳性能。所有监控数据都批量转发到同一节点上所有启用的导出器。然后，导出器序列化监控数据并向监控集群发送批量请求。没有队列——无论是内存中还是持久化到磁盘——因此，在导出过程中发生的任何故障都会导致该批监控数据的丢失。这种设计限制了对Elasticsearch的影响，并假设下一次传递将会成功。

路由监控数据涉及将其索引到适当的监控索引中。一旦数据被索引，它就存在于一个监控索引中，默认情况下，该索引的名称采用每日索引模式。对于Elasticsearch监控数据，这是一个匹配.monitoring-es-6-*的索引。从那里，数据存在于监控集群中，并且必须根据需要进行管理或清理。如果不管理监控数据，它最终会填满节点，并且集群可能会因磁盘空间不足而失败。

还有一个磁盘水位线（称为洪水阶段水位线），用于保护集群免于磁盘空间耗尽。当此功能被触发时，它会使所有索引（包括监控索引）变为只读状态，直到问题解决并且用户手动将索引重新设置为可写状态。当一个活跃的监控索引变为只读状态时，它自然会无法写入（索引）新数据，并且会持续记录指示写入失败的错误。更多信息，请参见基于磁盘的分片分配设置。

如果节点或集群未明确定义导出器，则使用以下默认导出器：

xpack.monitoring.exporters.default_local: 
  type: local

如果已经定义了另一个导出器，则不会创建默认导出器。当你定义一个新的导出器时，如果默认导出器存在，它将自动被移除。

在导出器可以路由监控数据之前，它们必须设置某些 Elasticsearch 资源。这些资源包括模板和摄取管道。下表列出了导出器在路由监控数据之前所需的模板：

这些模板是普通的 Elasticsearch 模板，用于控制监控索引的默认设置和映射。

默认情况下，监控索引每天创建（例如，.monitoring-es-6-2017.08.26）。您可以通过index.name.time_format设置更改监控索引的默认日期后缀。您可以使用此设置来控制特定http导出器创建监控索引的频率。此设置不能与local导出器一起使用。有关更多信息，请参阅HTTP导出器设置。

下表列出了导出器在路由监控数据之前所需的摄取管道：

导出器在发送数据之前处理这些资源的设置。如果资源设置失败（例如，由于安全权限），则不会发送数据，并且会记录警告。

对于在所有节点上禁用了node.ingest的监控集群，可以禁用使用摄取管道功能。然而，这样做会阻碍其目的，即随着我们的映射随时间改进，升级旧的监控数据。从6.0开始，摄取管道功能是监控集群的要求；您必须在至少一个节点上启用node.ingest。

每个由导出器创建的资源都有一个version字段，用于确定资源是否应被替换。version字段值表示更改了资源的监控功能的最新版本。如果资源被监控功能之外的人或事物编辑，这些更改将在下次自动更新时丢失。

The local exporter 是 X-Pack 监控中的默认导出器。它将数据路由回同一个（本地）集群。换句话说，它使用生产集群作为监控集群。例如：

xpack.monitoring.exporters.my_local_exporter: 
  type: local

这个导出器的存在是为了在硬件不可用时提供一个方便的选项。它也是开发人员在没有时间或资源提供单独的监控集群时，了解他们的操作对预生产集群的影响的一种方式。然而，这个导出器有一些缺点会影响本地集群：

对于local导出器，所有设置仅在选定的主节点上进行。这意味着如果您没有看到任何监控模板或摄取管道，则选定的主节点可能存在问题或配置方式不同。与http导出器不同，local导出器具有访问监控集群最新集群状态的优势。因此，它始终可以检查模板和摄取管道是否存在，而不会影响性能。如果选定的主节点在尝试创建监控资源时遇到错误，它会记录错误，忽略该收集，并在下一次收集后重试。

当选的主节点是唯一一个为local导出器设置资源的节点。因此，所有其他节点在索引任何来自其自身收集器的监控数据之前，都会等待资源被设置好。每个节点都会记录一条消息，表明它们正在等待资源被设置。

使用local导出器的一个好处是它位于集群内部，因此当集群通过Elastic Stack安全功能进行保护时，不需要额外的配置。所有操作，包括索引操作，都是通过Elasticsearch内部的传输机制进行的。这种行为使得在启用安全功能时，无需提供任何用户凭证即可使用导出器。

有关local导出器的配置选项的更多信息，请参阅本地导出器设置。

xpack.monitoring.collection.enabled: false 
xpack.monitoring.history.duration: 3d 

xpack.monitoring.exporters.my_local.type: local 
xpack.monitoring.exporters.my_local.enabled: false 

在Elasticsearch监控功能中，http导出器是首选的导出器，因为它支持使用一个独立的监控集群。作为一个次要的好处，它避免了使用生产集群节点作为协调节点来索引监控数据，因为所有请求都是向监控集群发出的HTTP请求。

The http exporter使用低级别的Elasticsearch REST客户端，这使得它能够将其数据发送到任何可以通过网络访问的Elasticsearch集群。它的请求使用了filter_path参数来尽可能减少带宽，这有助于确保生产集群和监控集群之间的通信尽可能轻量。

The http exporter 支持许多设置，这些设置控制它如何通过 HTTP 与远程集群通信。在大多数情况下，不需要显式配置这些设置。有关详细描述，请参阅 监控设置。

xpack.monitoring.exporters:
  my_local: 
    type: local
  my_remote: 
    type: http
    host: [ "10.1.2.3:9200", ... ] 
    auth: 
      username: my_username
      # "xpack.monitoring.exporters.my_remote.auth.secure_password" must be set in the keystore
    connection:
      timeout: 6s
      read_timeout: 60s
    ssl: ... 
    proxy:
      base_path: /some/base/path 
    headers: 
      My-Proxy-Header: abc123
      My-Other-Thing: [ def456, ... ]
    index.name.time_format: YYYY-MM 

与local导出器不同，每个使用http导出器的节点都会尝试检查并创建其所需的资源。http导出器避免重新检查资源，除非某些触发器导致它再次执行检查。这些触发器包括：

触发检查的最简单方法是禁用，然后重新启用导出器。

与local导出器不同，http导出器本质上会将请求路由到集群外部。这意味着当监控集群需要用户名和密码时（或其他适当的安全配置，如TLS/SSL设置），导出器必须提供用户名和密码。

有关http导出器的配置选项的更多信息，请参阅HTTP导出器设置。

要停止在 Elasticsearch 中生成 X-Pack 监控数据，请禁用数据收集：

xpack.monitoring.collection.enabled: false

当此设置为false时，不会收集Elasticsearch监控数据，并且来自其他来源（如Kibana、Beats和Logstash）的所有监控数据将被忽略。

您可以通过使用 集群更新设置API来更新此设置。

如果您想从Kibana、Beats和Logstash等来源收集数据，但不收集有关Elasticsearch集群的数据，您可以仅对Elasticsearch禁用数据收集：

xpack.monitoring.collection.enabled: true
xpack.monitoring.elasticsearch.collection.enabled: false

如果您想单独禁用某个特定的导出器，可以为每个导出器指定enabled设置（默认为true）。例如：

xpack.monitoring.exporters.my_http_exporter:
  type: http
  host: ["10.1.2.3:9200", "10.1.2.4:9200"]
  enabled: false 

要重新开始数据收集，请重新启用这些设置。