监控与仪器

• 网络接口
  • 事后查看
    • 环境变量
    • 对滚动事件日志文件应用压缩
    • Spark 历史服务器配置选项
  • REST API
    • 执行程序任务指标
    • 执行程序指标
    • API 版本管理政策
• 指标
  • 可用指标提供者列表
    • 组件实例 = 驱动程序
    • 组件实例 = 执行程序
    • 来源 = JVM 源
    • 组件实例 = applicationMaster
    • 组件实例 = mesos_cluster
    • 组件实例 = master
    • 组件实例 = ApplicationSource
    • 组件实例 = worker
    • 组件实例 = shuffleService
• 高级仪器仪表

监控Spark应用程序有几种方法：网页用户界面、指标和外部工具。

网页接口

每个 SparkContext 启动一个 Web UI ，默认在 4040 端口上，显示关于应用程序的有用信息。包括：

• 调度器阶段和任务的列表
• RDD大小和内存使用的摘要
• 环境信息。
• 正在运行的执行器的信息

您可以通过在网页浏览器中简单地打开 http:// :4040 来访问此接口。 如果多个 SparkContexts 在同一主机上运行，它们将依次绑定到从 4040 开始的端口 依次是 4041、4042 等。

请注意，这些信息仅在应用程序运行期间默认可用。 要在之后查看Web UI，请在启动应用程序之前将 spark.eventLog.enabled 设置为true。 这将配置Spark记录编码在UI中显示的信息的Spark事件，以便持续存储。

事后查看

只要应用程序的事件日志存在，通过Spark的历史服务器构建应用程序的用户界面仍然是可能的。 您可以通过执行以下命令来启动历史服务器:

./sbin/start-history-server.sh

这默认创建了一个网络界面在 http:// :18080 ，列出了未完成和已完成的应用程序及尝试。

在使用文件系统提供者类（请参见下面的 spark.history.provider ）时，必须在 spark.history.fs.logDirectory 配置选项中提供基础日志目录，并且应包含每个代表应用程序事件日志的子目录。

Spark作业本身必须配置为记录事件，并将其记录到相同的共享、可写目录。例如，如果服务器配置的日志目录为 hdfs://namenode/shared/spark-logs ，那么客户端的选项将是：

spark.eventLog.enabled true
spark.eventLog.dir hdfs://namenode/shared/spark-logs

历史服务器可以按如下方式配置：

环境变量

对滚动事件日志文件应用压缩

一个长期运行的应用程序（例如流媒体）可能会产生一个巨大的单一事件日志文件，这可能需要花费大量的维护成本，并且在每次更新时需要消耗大量资源来在Spark历史服务器中进行重放。

启用 spark.eventLog.rolling.enabled 和 spark.eventLog.rolling.maxFileSize 将 让你拥有循环事件日志文件，而不是单个巨大事件日志文件，这在某些情况下可能会有所帮助， 但是它仍然无法帮助你减少日志的整体大小。

Spark 历史服务器可以对滚动的事件日志文件进行压缩，以减少日志的总体大小，方法是设置配置 spark.history.fs.eventLog.rolling.maxFilesToRetain 在 Spark 历史服务器上。

详情将在下面描述，但请提前注意，压缩是有损的操作。 压缩将丢弃一些事件，这些事件将不会再在用户界面上出现 - 您可能想在启用该选项之前检查哪些事件将被丢弃。

当压缩发生时，历史服务器会列出应用程序所有可用的事件日志文件，并考虑到其索引低于将作为压缩目标的最小索引文件的事件日志文件。例如，如果应用程序 A 有 5 个事件日志文件，并且 spark.history.fs.eventLog.rolling.maxFilesToRetain 设置为 2，那么前 3 个日志文件将被选中进行压缩。

一旦选择了目标，它会分析这些目标，以确定可以排除哪些事件，并将它们重写为一个紧凑的文件，同时丢弃决定排除的事件。

压缩尝试排除指向过时数据的事件。目前，以下是要排除的事件候选者的描述：

• 已完成的任务的事件，以及相关的阶段/任务事件
• 已终止的执行者的事件
• 已完成的SQL执行的事件，以及相关的任务/阶段/任务事件

一旦重写完成，原始日志文件将以尽力而为的方式被删除。历史服务器可能无法删除原始日志文件，但这不会影响历史服务器的操作。

请注意，如果Spark History Server发现压缩时不会减少很多空间，则可能不会压缩旧的事件日志文件。对于流式查询，我们通常期望压缩会在每个微批次触发一个或多个作业时运行，这些作业会很快完成，但在许多情况下，批处理查询不会运行压缩。

请注意，这是在 Spark 3.0 中引入的新功能，可能尚未完全稳定。在某些情况下，压缩可能会排除比您预期更多的事件，从而导致应用程序在历史服务器上的一些 UI 问题。请谨慎使用。

Spark历史服务器配置选项

Spark历史服务器的安全选项在 安全 页面中有更详细的说明。

请注意，在所有这些用户界面中，表格可以通过点击其标题进行排序，这使得识别慢任务、数据倾斜等变得容易。

注意

1. 历史服务器显示完成和未完成的Spark作业。如果一个应用在失败后进行了多次尝试，那么失败的尝试将会被显示，以及任何正在进行的未完成尝试或最终成功的尝试。

2. 未完成的应用仅会间歇性更新。更新之间的时间由检查更改文件的间隔定义（ spark.history.fs.update.interval ）。在较大的集群上，更新间隔可能设置为较大的值。查看正在运行的应用程序的方式实际上是查看其自身的Web UI。

3. 未能注册为完成的应用程序将被列为未完成——即使它们不再运行。这可能发生在应用程序崩溃的情况下。

4. 指示Spark作业完成的一种方法是显式停止Spark上下文（ sc.stop() ），或者在Python中使用 with SparkContext() as sc: 构造来处理Spark上下文的设置和拆除。

REST API

除了在用户界面中查看指标外，它们还可以作为 JSON 提供。这为开发人员提供了一种简单的方法来为 Spark 创建新的可视化和监控工具。JSON 可用于正在运行的应用程序和历史服务器。这些端点挂载在 /api/v1 。例如，对于历史服务器，它们通常可以在 http:// :18080/api/v1 访问，对于正在运行的应用程序，则可以在 http://localhost:4040/api/v1 访问。

在API中，应用程序通过其应用程序ID引用， [app-id] 。 在YARN上运行时，每个应用程序可能有多个尝试，但是只有在集群模式下的应用程序才有尝试ID，而在客户端模式下的应用程序则没有。在YARN集群模式中，可以通过 [attempt-id] 识别应用程序。在下面列出的API中，当在YARN集群模式下运行时， [app-id] 实际上将是 [base-app-id]/[attempt-id] ，其中 [base-app-id] 是YARN应用程序ID。

可以检索的作业和阶段的数量受到独立Spark UI相同的保留机制的限制； "spark.ui.retainedJobs" 定义了触发作业垃圾收集的阈值， spark.ui.retainedStages 则针对阶段。请注意，垃圾收集发生在回放时：通过增加这些值并重启历史服务器，可以检索更多条目。

执行器任务指标

REST API暴露了由Spark执行器收集的任务指标的值，粒度为任务执行。这些指标可用于性能故障排除和工作负载特征化。可用指标的列表及简短描述如下：

执行器指标

执行器级别的指标作为心跳的一部分从每个执行器发送到驱动程序，以描述执行器自身的性能指标，如JVM堆内存、GC信息。 Executor指标值及其每个执行器的内存峰值通过REST API以JSON格式和Prometheus格式公开。 JSON端点位于： /applications/[app-id]/executors ，Prometheus端点位于： /metrics/executors/prometheus 。 Prometheus端点取决于一个配置参数： spark.ui.prometheus.enabled=true （默认值为 false ）。 此外，如果 spark.eventLog.logStageExecutorMetrics 为真，则执行器内存指标的按阶段聚合峰值将写入事件日志。 Executor内存指标也通过基于 Dropwizard指标库 的Spark指标系统公开。 以下是可用指标的列表，附带简短描述：

RSS和Vmem的计算基于 proc(5)

API版本控制策略

这些端点已经进行了强版本控制，以便于在其上开发应用程序。特别是，Spark保证：

• 端点不会从一个版本中移除
• 特定的字段不会从任何给定的端点中移除
• 可能会添加新的端点
• 可能会向现有端点添加新的字段
• 未来可能会作为单独的端点添加新的api版本（例如， api/v2 ）。 新版本 不 要求向后兼容。
• Api版本可能会被弃用，但只能在至少与新api版本共存的情况下经历一次小版本发布后。

请注意，即使在检查正在运行的应用程序的用户界面时， applications/[app-id] 部分仍然是必需的，尽管只有一个可用的应用程序。例如，要查看正在运行的应用程序的作业列表，您可以访问 http://localhost:4040/api/v1/applications/[app-id]/jobs 。这是为了保持两种模式下路径的一致性。

指标

Spark 具有一个基于 Dropwizard Metrics Library 的可配置指标系统。 这使得用户可以将 Spark 指标报告到多种目的地，包括 HTTP、JMX 和 CSV 文件。指标由嵌入在 Spark 代码库中的源生成。它们为特定活动和 Spark 组件提供了仪器化。指标系统通过一个配置文件配置，Spark 希望该文件存在于 $SPARK_HOME/conf/metrics.properties 。可以通过 spark.metrics.conf 配置属性 指定自定义文件位置。可以使用以 spark.metrics.conf. 为前缀的一组配置参数，而不是使用配置文件。默认情况下，用于驱动程序或执行程序指标的根命名空间是 spark.app.id 的值。 然而，用户通常希望能够跨应用程序跟踪驱动程序和执行程序的指标，而这很难通过应用程序 ID（即 spark.app.id ）来实现，因为它在每次调用应用程序时都会改变。对于这种用例，可以使用 spark.metrics.namespace 配置属性为指标报告指定自定义命名空间。如果用户希望将指标命名空间设置为应用程序的名称，他们可以将 spark.metrics.namespace 属性设置为像 ${spark.app.name} 这样的值。然后，Spark 会适当地扩展此值，并将其用作指标系统的根命名空间。非驱动程序和执行程序指标从未带有 spark.app.id 前缀， spark.metrics.namespace 属性对此类指标也没有任何影响。

Spark的指标被解耦为不同的 实例 ，对应于Spark组件。在每个实例中，您可以配置一组将指标报告到的汇聚器。当前支持以下实例：

• master : Spark独立主进程。
• applications : 主进程中的一个组件，用于报告各种应用程序。
• worker : Spark独立工作进程。
• executor : Spark执行器。
• driver : Spark驱动进程（创建您的SparkContext的进程）。
• shuffleService : Spark洗牌服务。
• applicationMaster : 在YARN上运行时的Spark ApplicationMaster。
• mesos_cluster : 在Mesos上运行时的Spark集群调度程序。

每个实例可以报告给零个或多个 接收器 。接收器包含在 org.apache.spark.metrics.sink 包中：

• ConsoleSink : 将指标信息记录到控制台。
• CSVSink : 定期将指标数据导出为CSV文件。
• JmxSink : 注册指标以便在JMX控制台中查看。
• MetricsServlet : 在现有Spark UI中添加一个servlet，以JSON数据的形式提供指标数据。
• PrometheusServlet : （实验性）在现有Spark UI中添加一个servlet，以Prometheus格式提供指标数据。
• GraphiteSink : 将指标发送到Graphite节点。
• Slf4jSink : 将指标作为日志条目发送到slf4j。
• StatsdSink : 将指标发送到StatsD节点。

Spark还支持一个Ganglia sink，由于许可限制，它没有被包含在默认构建中：

• GangliaSink : 将指标发送到 Ganglia 节点或多播组。

要安装 GangliaSink ，您需要执行 Spark 的自定义构建。 请注意，通过嵌入此库，您将在您的 Spark 包中包含 LGPL 许可的代码 。对于 sbt 用户，在构建之前设置 SPARK_GANGLIA_LGPL 环境变量。对于 Maven 用户，启用 -Pspark-ganglia-lgpl 配置文件。除了修改集群的 Spark 构建外，用户应用程序还需要链接到 spark-ganglia-lgpl 工件。

指标配置文件的语法以及每个接收器可用的参数在一个示例配置文件中定义， $SPARK_HOME/conf/metrics.properties.template 。

当使用 Spark 配置参数而不是指标配置文件时，相关参数名称由前缀 spark.metrics.conf. 以及配置细节组成，即参数的格式如下： spark.metrics.conf.[instance|*].sink.[sink_name].[parameter_name] 。 该示例展示了用于 Graphite sink 的 Spark 配置参数列表：

"spark.metrics.conf.*.sink.graphite.class"="org.apache.spark.metrics.sink.GraphiteSink"
"spark.metrics.conf.*.sink.graphite.host"="graphiteEndPoint_hostName>"
"spark.metrics.conf.*.sink.graphite.port"=
"spark.metrics.conf.*.sink.graphite.period"=10
"spark.metrics.conf.*.sink.graphite.unit"=秒
"spark.metrics.conf.*.sink.graphite.prefix"="可选前缀"
"spark.metrics.conf.*.sink.graphite.regex"="可选正则表达式用于发送匹配的指标"

Spark指标配置的默认值如下：

"*.sink.servlet.class" = "org.apache.spark.metrics.sink.MetricsServlet"
"*.sink.servlet.path" = "/metrics/json"
"master.sink.servlet.path" = "/metrics/master/json"
"applications.sink.servlet.path" = "/metrics/applications/json"

可以使用度量配置文件或配置参数 spark.metrics.conf.[component_name].source.jvm.class=[source_name] 配置附加源。目前，JVM 源是唯一可用的可选源。例如，以下配置参数激活 JVM 源： "spark.metrics.conf.*.source.jvm.class"="org.apache.spark.metrics.source.JvmSource"

可用指标提供者列表

Spark使用的指标有多种类型：计量器、计数器、直方图、计量器和定时器，详见 Dropwizard库文档 。以下组件和指标的列表报告了可用指标的名称及一些细节，按组件实例和源命名空间分组。在Spark仪器中使用的最常见的指标类型是计量器和计数器。计数器可以通过其后缀 .count 识别。定时器、计量器和直方图在列表中进行了注解，其余列表元素是计量器类型的指标。绝大多数指标在其父组件实例配置后会立即激活，有些指标还需要通过额外的配置参数来启用，详细信息在列表中报告。

组件实例 = 驱动程序

这是带有最大数量的仪表化指标的组件

• 命名空间=BlockManager
  • disk.diskSpaceUsed_MB
  • memory.maxMem_MB
  • memory.maxOffHeapMem_MB
  • memory.maxOnHeapMem_MB
  • memory.memUsed_MB
  • memory.offHeapMemUsed_MB
  • memory.onHeapMemUsed_MB
  • memory.remainingMem_MB
  • memory.remainingOffHeapMem_MB
  • memory.remainingOnHeapMem_MB
• 命名空间=HiveExternalCatalog
  • 注意： 这些指标依赖于一个配置参数： spark.metrics.staticSources.enabled （默认值为true）
  • fileCacheHits.count
  • filesDiscovered.count
  • hiveClientCalls.count
  • parallelListingJobCount.count
  • partitionsFetched.count
• 命名空间=CodeGenerator
  • 注意： 这些指标依赖于一个配置参数： spark.metrics.staticSources.enabled （默认值为true）
  • compilationTime（直方图）
  • generatedClassSize（直方图）
  • generatedMethodSize（直方图）
  • sourceCodeSize（直方图）
• 命名空间=DAGScheduler
  • job.activeJobs
  • job.allJobs
  • messageProcessingTime（计时器）
  • stage.failedStages
  • stage.runningStages
  • stage.waitingStages
• 命名空间=LiveListenerBus
  • listenerProcessingTime.org.apache.spark.HeartbeatReceiver（计时器）
  • listenerProcessingTime.org.apache.spark.scheduler.EventLoggingListener（计时器）
  • listenerProcessingTime.org.apache.spark.status.AppStatusListener（计时器）
  • numEventsPosted.count
  • queue.appStatus.listenerProcessingTime（计时器）
  • queue.appStatus.numDroppedEvents.count
  • queue.appStatus.size
  • queue.eventLog.listenerProcessingTime（计时器）
  • queue.eventLog.numDroppedEvents.count
  • queue.eventLog.size
  • queue.executorManagement.listenerProcessingTime（计时器）
• 命名空间=appStatus（所有类型为计数器的指标）
  • 注意： 在Spark 3.0中引入。依赖于一个配置参数： spark.metrics.appStatusSource.enabled （默认值为false）
  • stages.failedStages.count
  • stages.skippedStages.count
  • stages.completedStages.count
  • tasks.blackListedExecutors.count // 已废弃，请改用excludedExecutors
  • tasks.excludedExecutors.count
  • tasks.completedTasks.count
  • tasks.failedTasks.count
  • tasks.killedTasks.count
  • tasks.skippedTasks.count
  • tasks.unblackListedExecutors.count // 已废弃，请改用unexcludedExecutors
  • tasks.unexcludedExecutors.count
  • jobs.succeededJobs
  • jobs.failedJobs
  • jobDuration
• 命名空间=AccumulatorSource
  • 注意： 可由用户配置的源，以将累加器附加到指标系统
  • DoubleAccumulatorSource
  • LongAccumulatorSource
• 命名空间=spark.streaming
  • 注意： 这仅适用于Spark结构化流处理。依赖于一个配置 参数： spark.sql.streaming.metricsEnabled=true （默认值为false）
  • eventTime-watermark
  • inputRate-total
  • latency
  • processingRate-total
  • states-rowsTotal
  • states-usedBytes
• 命名空间=JVMCPU
  • jvmCpuTime
• 命名空间=executor
  • 注意： 这些指标仅在本地模式下的驱动程序中可用。
  • 此命名空间中可用指标的完整列表可以在相应的Executor组件实例条目中找到。
• 命名空间=ExecutorMetrics
  • 注意： 这些指标依赖于一个配置参数： spark.metrics.executorMetricsSource.enabled （默认值为true）
  • 该源包含与内存相关的指标。此命名空间中可用指标的完整列表可以在相应的Executor组件实例条目中找到。
• 命名空间=ExecutorAllocationManager
  • 注意： 这些指标仅在使用动态分配时发送。依赖于一个配置 参数 spark.dynamicAllocation.enabled （默认值为false）
  • executors.numberExecutorsToAdd
  • executors.numberExecutorsPendingToRemove
  • executors.numberAllExecutors
  • executors.numberTargetExecutors
  • executors.numberMaxNeededExecutors
  • executors.numberDecommissioningExecutors
  • executors.numberExecutorsGracefullyDecommissioned.count
  • executors.numberExecutorsDecommissionUnfinished.count
  • executors.numberExecutorsExitedUnexpectedly.count
  • executors.numberExecutorsKilledByDriver.count
• 命名空间=plugin.<插件类名>
  • 可选命名空间。此命名空间中的指标由用户提供的代码定义，并 使用Spark插件API进行配置。有关如何将自定义插件加载到Spark中的“高级仪表”下的信息。

组件实例 = 执行器

这些指标由Spark执行器公开。

• 命名空间=executor (指标类型为计数器或仪表)
  • 注意:
    • spark.executor.metrics.fileSystemSchemes (默认值: file,hdfs ) 决定暴露的文件系统指标。
  • bytesRead.count
  • bytesWritten.count
  • cpuTime.count
  • deserializeCpuTime.count
  • deserializeTime.count
  • diskBytesSpilled.count
  • filesystem.file.largeRead_ops
  • filesystem.file.read_bytes
  • filesystem.file.read_ops
  • filesystem.file.write_bytes
  • filesystem.file.write_ops
  • filesystem.hdfs.largeRead_ops
  • filesystem.hdfs.read_bytes
  • filesystem.hdfs.read_ops
  • filesystem.hdfs.write_bytes
  • filesystem.hdfs.write_ops
  • jvmGCTime.count
  • memoryBytesSpilled.count
  • recordsRead.count
  • recordsWritten.count
  • resultSerializationTime.count
  • resultSize.count
  • runTime.count
  • shuffleBytesWritten.count
  • shuffleFetchWaitTime.count
  • shuffleLocalBlocksFetched.count
  • shuffleLocalBytesRead.count
  • shuffleRecordsRead.count
  • shuffleRecordsWritten.count
  • shuffleRemoteBlocksFetched.count
  • shuffleRemoteBytesRead.count
  • shuffleRemoteBytesReadToDisk.count
  • shuffleTotalBytesRead.count
  • shuffleWriteTime.count
  • succeededTasks.count
  • threadpool.activeTasks
  • threadpool.completeTasks
  • threadpool.currentPool_size
  • threadpool.maxPool_size
  • threadpool.startedTasks
• 命名空间=ExecutorMetrics
  • 注意:
    • 这些指标依赖于一个配置参数: spark.metrics.executorMetricsSource.enabled (默认值为true)
    • ExecutorMetrics会作为执行器和驱动程序在定时间隔内的心跳过程的一部分进行更新: spark.executor.heartbeatInterval (默认值为10秒)
    • 可选的快速轮询机制可用于执行器内存指标，可以通过设置轮询间隔（以毫秒为单位）使用配置参数 spark.executor.metrics.pollingInterval 来激活
  • JVMHeapMemory
  • JVMOffHeapMemory
  • OnHeapExecutionMemory
  • OnHeapStorageMemory
  • OnHeapUnifiedMemory
  • OffHeapExecutionMemory
  • OffHeapStorageMemory
  • OffHeapUnifiedMemory
  • DirectPoolMemory
  • MappedPoolMemory
  • MinorGCCount
  • MinorGCTime
  • MajorGCCount
  • MajorGCTime
  • “ProcessTree*” 指标计数器:
    • ProcessTreeJVMVMemory
    • ProcessTreeJVMRSSMemory
    • ProcessTreePythonVMemory
    • ProcessTreePythonRSSMemory
    • ProcessTreeOtherVMemory
    • ProcessTreeOtherRSSMemory
    • 注意: “ProcessTree ” 指标仅在某些条件下收集。 这些条件是以下条件的逻辑与: /proc 文件系统存在, spark.executor.processTreeMetrics.enabled=true 。 当不满足这些条件时，“ProcessTree ” 指标报告0。
• 命名空间=JVMCPU
  • jvmCpuTime
• 命名空间=NettyBlockTransfer
  • shuffle-client.usedDirectMemory
  • shuffle-client.usedHeapMemory
  • shuffle-server.usedDirectMemory
  • shuffle-server.usedHeapMemory
• 命名空间=HiveExternalCatalog
  • 注意: 这些指标依赖于一个配置参数: spark.metrics.staticSources.enabled (默认值为true)
  • fileCacheHits.count
  • filesDiscovered.count
  • hiveClientCalls.count
  • parallelListingJobCount.count
  • partitionsFetched.count
• 命名空间=CodeGenerator
  • 注意: 这些指标依赖于一个配置参数: spark.metrics.staticSources.enabled (默认值为true)
  • compilationTime (直方图)
  • generatedClassSize (直方图)
  • generatedMethodSize (直方图)
  • sourceCodeSize (直方图)
• 命名空间=plugin.<插件类名>
  • 可选命名空间。此命名空间中的指标由用户提供的代码定义，并使用Spark插件API进行配置。有关如何将自定义插件加载到Spark中的详细信息，请参见下面的“高级仪器”。

来源 = JVM 来源

备注：

• 通过设置相关的 metrics.properties 文件条目或配置参数来激活此源： spark.metrics.conf.*.source.jvm.class=org.apache.spark.metrics.source.JvmSource
• 这些指标依赖于一个配置参数： spark.metrics.staticSources.enabled （默认值为true）
• 此源可用于驱动程序和执行实例，并且也可用于其他实例。
• 此源提供有关JVM指标的信息，使用 Dropwizard/Codahale Metric Sets for JVM instrumentation ，特别是指标集 BufferPoolMetricSet、GarbageCollectorMetricSet 和 MemoryUsageGaugeSet。

组件实例 = applicationMaster

注意：在YARN上运行时适用

• 待分配的容器数量
• 失败的执行者数量
• 正在运行的执行者数量
• 地点感知任务数量
• 已释放的容器数量

组件实例 = mesos_cluster

注意：在运行于mesos时适用

• 等待中的驱动程序
• 已启动的驱动程序
• 重试驱动程序

组件实例 = master

注意：在以Spark独立模式作为主节点运行时适用

• 工人
• 存活工人
• 应用
• 等待中的应用

组件实例 = 应用程序源

注意：在以Spark独立模式作为主节点运行时适用

• 状态
• 运行时间（毫秒）
• 核心数

组件实例 = worker

注意：当在Spark独立模式下作为工作线程运行时适用

• 执行者
• 已使用核心
• 已使用内存（MB）
• 空闲核心
• 空闲内存（MB）

组件实例 = shuffleService

注意：适用于洗牌服务

• blockTransferRate (meter) - 传输的区块速率
• blockTransferMessageRate (meter) - 区块传输消息的速率， 即如果启用了批量获取，这表示批次数而不是区块数
• blockTransferRateBytes (meter)
• blockTransferAvgTime_1min (gauge - 1分钟移动平均)
• numActiveConnections.count
• numRegisteredConnections.count
• numCaughtExceptions.count
• openBlockRequestLatencyMillis (histogram)
• registerExecutorRequestLatencyMillis (histogram)
• registeredExecutorsSize
• shuffle-server.usedDirectMemory

• shuffle-server.usedHeapMemory

• note: 以下指标适用当服务器端配置 spark.shuffle.push.server.mergedShuffleFileManagerImpl 被设置为 org.apache.spark.network.shuffle.MergedShuffleFileManager 用于基于推送的洗牌
• blockBytesWritten - 写入文件的推送区块数据的大小（字节）
• blockAppendCollisions - 在洗牌服务中发生碰撞的洗牌推送区块数量 因为正在写入同一归约分区的另一个区块
• lateBlockPushes - 在特定的洗牌合并完成后，收到的洗牌推送区块数量
• deferredBlocks - 当前在内存中缓冲的延迟区块部分的数量
• deferredBlockBytes - 当前在内存中缓冲的延迟区块部分的大小
• staleBlockPushes - 过时的洗牌区块推送请求的数量
• ignoredBlockBytes - 被传输到 ESS 的推送区块数据的大小，但被忽略。 当以下情况发生时，推送的区块数据被视为被忽略：1. 它在洗牌完成后被接收；2. 当推送请求是针对重复区块；3. ESS 无法写入该区块。

高级仪器

可以使用几个外部工具来帮助分析Spark作业的性能：

• 集群范围的监控工具，例如 Ganglia ，可以提供对整体集群利用率和资源瓶颈的洞察。例如，Ganglia 仪表板可以快速揭示特定工作负载是磁盘绑定、网络绑定还是 CPU 绑定。
• 操作系统分析工具，如 dstat 、 iostat 和 iotop ，可以对单个节点提供细粒度的分析。
• JVM 工具，如 jstack 用于提供堆栈信息， jmap 用于创建堆转储， jstat 用于报告时间序列统计数据，以及 jconsole 用于可视化探索各种 JVM 属性，对于熟悉 JVM 内部结构的人来说非常有用。

Spark还提供了一个插件API，以便可以将自定义仪表代码添加到Spark应用程序中。可以用于将插件加载到Spark中的两个配置键：

• spark.plugins
• spark.plugins.defaultList

两者都接受一个以逗号分隔的类名列表，这些类名实现了 org.apache.spark.api.plugin.SparkPlugin 接口。存在这两个名称是为了可以将一个列表放入 Spark 默认配置文件，使用户能够轻松地从命令行添加其他插件，而无需覆盖配置文件中的列表。重复的插件会被忽略。