在YARN上运行Spark

• 安全性
• 在 YARN 上启动 Spark
  • 添加其他 JAR
• 准备工作
• 配置
• 调试你的应用程序
  • Spark 属性
  • SHS 自定义执行器日志 URL 的可用模式
• 资源分配和配置概述
• 阶段级调度概述
• 重要说明
• Kerberos
  • 特定于 YARN 的 Kerberos 配置
  • 故障排除 Kerberos
• 配置外部洗牌服务
• 使用 Apache Oozie 启动你的应用程序
• 使用 Spark 历史服务器替代 Spark Web UI
• 运行多个版本的 Spark 洗牌服务

对在 YARN (Hadoop NextGen) 上运行的支持是在 Spark 0.6.0 版本中添加的，并在后续版本中得到了改进。

安全

安全功能，如身份验证，默认情况下是未启用的。当部署一个对互联网或不受信任网络开放的集群时，确保安全访问集群非常重要，以防止未授权的应用程序在集群上运行。在运行Spark之前，请查看 Spark安全性 和本文件中的具体安全部分。

在YARN上启动Spark

确保 HADOOP_CONF_DIR 或 YARN_CONF_DIR 指向包含Hadoop集群的（客户端）配置文件的目录。这些配置用于写入HDFS并连接到YARN资源管理器。该目录中包含的配置将分发到YARN集群，以便应用程序使用的所有容器使用相同的配置。如果配置引用了Java系统属性或YARN未管理的环境变量，则它们也应在Spark应用程序的配置中设置（驱动程序、执行器和在客户端模式下运行时的AM）。

在 YARN 上启动 Spark 应用程序时，可以使用两种部署模式。在 cluster 模式下，Spark 驱动程序在集群上由 YARN 管理的应用程序主进程内运行，客户端在启动应用程序后可以离开。在 client 模式下，驱动程序在客户端进程中运行，应用程序主仅用于从 YARN 请求资源。

与其他由Spark支持的集群管理器不同，在这些管理器中，主节点的地址是在 --master 参数中指定的，在YARN模式下，ResourceManager的地址是从Hadoop配置中读取的。因此， --master 参数是 yarn 。

要以 cluster 模式启动一个 Spark 应用程序:

$ ./bin/spark-submit --class path.to.your.Class --master yarn --deploy-mode cluster [选项] <应用程序 jar> [应用程序选项]

例如：

$ ./bin/spark-submit --class org.apache.spark.examples.SparkPi \
    --master yarn \
    --deploy-mode cluster \
    --driver-memory 4g \
    --executor-memory 2g \
    --executor-cores 1 \
    --queue thequeue \
    examples/jars/spark-examples*.jar \
    10

上述内容启动了一个 YARN 客户端程序，该程序启动默认的 Application Master。然后 SparkPi 将作为 Application Master 的子线程运行。客户端将定期轮询 Application Master 以获取状态更新，并在控制台中显示它们。一旦您的应用程序运行完毕，客户端将退出。有关如何查看驱动程序和执行器日志，请参阅下面的 调试您的应用程序 部分。

要以 client 模式启动一个 Spark 应用程序，请按相同的方式操作，但将 cluster 替换为 client 。以下显示了如何在 client 模式下运行 spark-shell ：

$ ./bin/spark-shell --master yarn --deploy-mode client

添加其他 JAR 文件

在 cluster 模式下，驱动程序运行在与客户端不同的机器上，因此 SparkContext.addJar 不能直接使用客户端本地的文件。为了使客户端上的文件可用于 SparkContext.addJar ，请在启动命令中使用 --jars 选项将它们包含在内。

$ ./bin/spark-submit --class my.main.Class \
    --master yarn \
    --deploy-mode cluster \
    --jars my-other-jar.jar,my-other-other-jar.jar \
    my-main-jar.jar \
    app_arg1 app_arg2

准备工作

在 YARN 上运行 Spark 需要一个支持 YARN 的 Spark 二进制发行版。二进制发行版可以从项目网站的 下载页面 下载。你可以下载两种类型的 Spark 二进制发行版。一种是与特定版本的 Apache Hadoop 预构建的；这个 Spark 发行版包含内置的 Hadoop 运行时，因此我们称之为 with-hadoop Spark 发行版。另一种是与用户提供的 Hadoop 预构建的；由于这个 Spark 发行版不包含内置的 Hadoop 运行时，它更小，但用户必须单独提供 Hadoop 安装。我们称这种变体为 no-hadoop Spark 发行版。对于 with-hadoop Spark 发行版，由于它已经包含了内置的 Hadoop 运行时，默认情况下，当作业提交到 Hadoop Yarn 集群时，为了防止 jar 冲突，它不会将 Yarn 的类路径填充到 Spark 中。要覆盖这种行为，你可以设置 spark.yarn.populateHadoopClasspath=true 。对于 no-hadoop Spark 发行版，Spark 默认会填充 Yarn 的类路径以获取 Hadoop 运行时。对于 with-hadoop Spark 发行版，如果你的应用程序依赖于集群中仅可用的某个库，你可以尝试通过设置上述属性来填充 Yarn 类路径。如果这样做时遇到 jar 冲突问题，你需要关闭此功能并将该库包含在你的应用程序 jar 中。

要自己构建Spark，请参阅 Building Spark 。

为了使Spark运行时jar文件可以从YARN端访问，您可以指定 spark.yarn.archive 或 spark.yarn.jars 。有关详细信息，请参考 Spark属性 。如果既未指定 spark.yarn.archive 也未指定 spark.yarn.jars ，Spark将创建一个包含所有jar文件的zip文件，位于 $SPARK_HOME/jars 下，并将其上传到分布式缓存。

配置

大多数配置与其他部署模式下的Spark相同。有关更多信息，请参见 配置页面 。这些是特定于Spark on YARN的配置。

调试你的应用程序

在YARN术语中，执行器和应用程序master运行在“容器”内。YARN在应用程序完成后有两种处理容器日志的模式。如果启用了日志聚合（通过 yarn.log-aggregation-enable 配置），容器日志将被复制到HDFS并从本地机器中删除。这些日志可以通过 yarn logs 命令从集群的任何地方查看。

yarn 日志 -applicationId <应用程序 ID>

将打印出来自给定应用程序的所有容器的所有日志文件的内容。您还可以通过 HDFS shell 或 API 直接查看容器日志文件。可以通过查看您的 YARN 配置（ yarn.nodemanager.remote-app-log-dir 和 yarn.nodemanager.remote-app-log-dir-suffix ）找到它们所在的目录。日志也可以在 Spark Web UI 的 Executors 标签下找到。您需要同时运行 Spark 历史服务器和 MapReduce 历史服务器，并在 yarn-site.xml 中正确配置 yarn.log.server.url 。Spark 历史服务器 UI 上的日志 URL 会将您重定向到 MapReduce 历史服务器，以显示汇总的日志。

当日志聚合未开启时，日志会保留在每台机器的 YARN_APP_LOGS_DIR 本地，一般配置为 /tmp/logs 或 $HADOOP_HOME/logs/userlogs ，具体取决于 Hadoop 的版本和安装方式。查看容器的日志需要访问包含它们的主机，并查看该目录。子目录按应用程序 ID 和容器 ID 组织日志文件。日志也可在 Spark Web UI 的 Executors Tab 下查看，无需运行 MapReduce 历史服务器。

要查看每个容器的启动环境，请将 yarn.nodemanager.delete.debug-delay-sec 增加到一个较大的值（例如 36000 ），然后通过 yarn.nodemanager.local-dirs 访问应用程序缓存，访问那些启动容器的节点。该目录包含启动脚本、JAR文件和用于启动每个容器的所有环境变量。这个过程对于调试类路径问题特别有用。（请注意，启用此功能需要对集群设置的管理员权限以及重启所有节点管理器。因此，这不适用于托管集群）。

要为应用程序主控或执行器使用自定义的log4j配置，以下是一些选项：

• 使用 spark-submit 上传自定义 log4j.properties 文件，将其添加到 --files 上传文件列表中。
• 将 -Dlog4j.configuration= 添加到 spark.driver.extraJavaOptions （适用于驱动程序）或 spark.executor.extraJavaOptions （适用于执行器）。请注意，如果使用文件， 必须明确提供 file: 协议，并且该文件需要在所有节点上本地存在。
• 更新 $SPARK_CONF_DIR/log4j.properties 文件，它会与其他配置一起自动上传。请注意，如果指定多个选项，则其他两个选项的优先级高于此选项。

请注意，对于第一个选项，执行器和应用程序主控将共享相同的 log4j 配置，这可能会在它们在同一个节点上运行时造成问题（例如，试图写入同一个日志文件）。

如果您需要参考在 YARN 中放置日志文件的正确位置，以便 YARN 能够正确显示和聚合它们，请在您的 log4j2.properties 中使用 spark.yarn.app.container.log.dir 。例如， appender.file_appender.fileName=${sys:spark.yarn.app.container.log.dir}/spark.log 。对于流式应用程序，配置 RollingFileAppender 并将文件位置设置为 YARN 的日志目录，将避免因大型日志文件导致的磁盘溢出，并且可以使用 YARN 的日志工具访问日志。

要为应用程序主控和执行者使用自定义 metrics.properties，更新 $SPARK_CONF_DIR/metrics.properties 文件。它将与其他配置自动上传，因此您不需要手动使用 --files 指定它。

Spark 属性

SHS自定义执行器日志URL的可用模式

例如，假设您想直接将日志 URL 链接指向作业历史服务器，而不是让 NodeManager http 服务器对其进行重定向，您可以按照以下方式配置 spark.history.custom.executor.log.url ：

{{HTTP_SCHEME}} : /jobhistory/logs/{{NM_HOST}}:{{NM_PORT}}/{{CONTAINER_ID}}/{{CONTAINER_ID}}/{{USER}}/{{FILE_NAME}}?start=-4096

注意：您需要将 和 替换为实际值。

资源分配和配置概述

请确保您已阅读 配置页面 上的自定义资源调度和配置概述部分。本节仅讨论YARN特定的资源调度方面。

YARN 需要配置以支持用户希望与 Spark 使用的任何资源。YARN 3.1.0 中添加了对资源调度的支持。有关配置资源和正确设置隔离的更多信息，请参阅 YARN 文档。理想情况下，这些资源应设置为隔离状态，以便执行器只能看到其分配的资源。如果您没有启用隔离，则用户负责创建一个发现脚本，以确保资源不会在执行器之间共享。

YARN 支持用户定义的资源类型，但内置了 GPU ( yarn.io/gpu ) 和 FPGA ( yarn.io/fpga ) 类型。因此，如果您使用其中任一资源，Spark 可以将您对 Spark 资源的请求转换为 YARN 资源，您只需指定 spark.{driver/executor}.resource. 配置。请注意，如果您在 YARN 中使用的是自定义的 GPU 或 FPGA 资源类型，您可以使用 spark.yarn.resourceGpuDeviceName 和 spark.yarn.resourceFpgaDeviceName 更改 Spark 映射。如果您使用的是 FPGA 或 GPU 以外的资源，用户需要负责为 YARN ( spark.yarn.{driver/executor}.resource. ) 和 Spark ( spark.{driver/executor}.resource. ) 指定配置。

例如，用户希望为每个执行器请求 2 个 GPU。用户只需指定 spark.executor.resource.gpu.amount=2 ，Spark 将处理从 YARN 请求 yarn.io/gpu 资源类型。

如果用户定义了一个 YARN 资源，我们称之为 acceleratorX ，那么用户必须指定 spark.yarn.executor.resource.acceleratorX.amount=2 和 spark.executor.resource.acceleratorX.amount=2 。

YARN 不会告诉 Spark 每个容器分配的资源地址。因此，用户必须指定一个发现脚本，该脚本在启动时由执行器运行，以发现该执行器可用的资源。您可以在 examples/src/main/scripts/getGpusResources.sh 中找到示例脚本。该脚本必须设置可执行权限，用户应设置权限以不允许恶意用户修改它。该脚本应向标准输出写入一个 JSON 字符串，格式为 ResourceInformation 类。这包含资源名称和仅适用于该执行器的资源地址数组。

阶段级调度概述

在YARN上支持阶段级调度：

• 当动态分配被禁用时：它允许用户在阶段级别指定不同的任务资源需求，并将在启动时使用请求的相同执行器。
• 当动态分配被启用时：它允许用户在阶段级别指定任务和执行器资源需求，并将请求额外的执行器。

需要注意的一件事是，YARN特定的是每个ResourceProfile在YARN上需要一个不同的容器优先级。映射简单，即ResourceProfile的id变为优先级，在YARN中，数字越小优先级越高。这意味着早期创建的配置文件在YARN中将具有更高的优先级。通常，这并不重要，因为Spark在开始另一个阶段之前会完成一个阶段，唯一可能受影响的情况是在作业服务器类型的场景中，因此这是需要牢记的。注意，在基础默认配置文件和自定义ResourceProfiles之间，用户自定义资源的处理方式是不同的。为了允许用户请求带有额外资源的YARN容器，而不通过Spark调度，用户可以通过 spark.yarn.executor.resource. 配置来指定资源。不过，这些配置仅在基础默认配置文件中使用，并不会传播至其他自定义ResourceProfiles。这是因为如果你希望某个阶段不使用它们，就没有办法将它们移除。这导致你的默认配置文件中包含在 spark.yarn.executor.resource. 中定义的自定义资源以及Spark定义的GPU或FPGA资源。Spark将GPU和FPGA资源转换为YARN内置类型 yarn.io/gpu 和 yarn.io/fpga ，但不知道其他资源的映射。任何其他Spark自定义资源不会传播到默认配置文件的YARN中。因此，如果你希望Spark基于自定义资源进行调度并从YARN请求它，必须在YARN（ spark.yarn.{driver/executor}.resource. ）和Spark（ spark.{driver/executor}.resource. ）配置中同时指定它。如果你只想要YARN容器带有额外资源，而不希望Spark使用它们，则可省略Spark配置。至于自定义ResourceProfiles，目前没有仅指定YARN资源而不通过Spark调度的方式。这意味着对于自定义ResourceProfiles，我们将ResourceProfile中定义的所有资源传播到YARN。我们仍然将GPU和FPGA转换为YARN内置类型。这要求你指定的任何自定义资源的名称与其在YARN中定义时的名称相匹配。

重要说明

• 核心请求在调度决策中是否被尊重取决于使用的是哪个调度器以及它是如何配置的。
• 在 cluster 模式下，Spark 执行器和 Spark 驱动程序使用的本地目录将是为 YARN 配置的本地目录（Hadoop YARN 配置 yarn.nodemanager.local-dirs ）。如果用户指定了 spark.local.dir ，则该设置将被忽略。在 client 模式下，Spark 执行器将使用为 YARN 配置的本地目录，而 Spark 驱动程序将使用在 spark.local.dir 中定义的目录。这是因为在 client 模式下，Spark 驱动程序不会在 YARN 集群上运行，仅 Spark 执行器会。
• --files 和 --archives 选项支持使用 # 来指定文件名，类似于 Hadoop。例如，您可以指定： --files localtest.txt#appSees.txt ，这将把您本地名为 localtest.txt 的文件上传到 HDFS，但这将通过名称 appSees.txt 进行链接，您的应用程序在 YARN 上运行时应使用名称 appSees.txt 来引用它。
• --jars 选项允许在使用本地文件并以 cluster 模式运行时使 SparkContext.addJar 函数正常工作。如果您使用 HDFS、HTTP、HTTPS 或 FTP 文件，则不需要使用它。

凯尔伯罗斯

Spark中的标准Kerberos支持在 安全 页面中介绍。

在YARN模式下，当访问Hadoop文件系统时，除了Hadoop配置中的默认文件系统外，Spark还会自动获取托管Spark应用程序临时目录的服务的委派令牌。

YARN特定的Kerberos配置

排查 Kerberos 问题

调试 Hadoop/Kerberos 问题可能是“困难”的。一个有用的技巧是通过设置 HADOOP_JAAS_DEBUG 环境变量来启用 Hadoop 中 Kerberos 操作的额外日志记录。

导出 HADOOP_JAAS_DEBUG=true

JDK类可以通过系统属性 sun.security.krb5.debug 和 sun.security.spnego.debug=true 配置为启用额外的Kerberos和SPNEGO/REST身份验证日志记录

-Dsun.security.krb5.debug=true -Dsun.security.spnego.debug=true

所有这些选项都可以在应用程序主控中启用：

spark.yarn.appMasterEnv.HADOOP_JAAS_DEBUG true
spark.yarn.am.extraJavaOptions -Dsun.security.krb5.debug=true -Dsun.security.spnego.debug=true

最后，如果 org.apache.spark.deploy.yarn.Client 的日志级别设置为 DEBUG ，日志将包含获取的所有令牌的列表及其过期详情

配置外部洗牌服务

要在您的 YARN 集群中的每个 NodeManager 上启动 Spark Shuffle 服务，请遵循以下说明：

1. 使用 YARN配置文件 构建Spark。如果您使用的是预打包的发行版，请跳过此步骤。
2. 找到 spark- -yarn-shuffle.jar 。如果您自己构建Spark，它应该位于 $SPARK_HOME/common/network-yarn/target/scala- 下，如果您使用的是发行版，它应该位于 yarn 下。
3. 将此jar添加到集群中所有 NodeManager 的类路径中。
4. 在每个节点的 yarn-site.xml 中，将 spark_shuffle 添加到 yarn.nodemanager.aux-services 中，然后将 yarn.nodemanager.aux-services.spark_shuffle.class 设置为 org.apache.spark.network.yarn.YarnShuffleService 。
5. 通过在 etc/hadoop/yarn-env.sh 中设置 YARN_HEAPSIZE （默认值为1000）来增加 NodeManager 的堆大小，以避免在洗牌期间出现垃圾回收问题。
6. 重新启动集群中的所有 NodeManager 。

当洗牌服务在YARN上运行时，以下额外的配置选项可用：

请注意，上述说明假设使用了默认的洗牌服务名称， spark_shuffle 。这里可以使用任何名称，但在 YARN NodeManager 配置中使用的值必须与 Spark 应用程序中 spark.shuffle.service.name 的值匹配。

默认情况下，洗牌服务将从由NodeManager使用的Hadoop配置中获取所有配置（例如， yarn-site.xml ）。然而，也可以使用名为 spark-shuffle-site.xml 的文件独立配置洗牌服务，该文件应放置在洗牌服务的类路径上（默认情况下，与NodeManager的类路径共享）。洗牌服务将把它视为标准的Hadoop配置资源，并在NodeManager的配置之上进行叠加。

使用 Apache Oozie 启动您的应用程序

Apache Oozie 可以作为工作流的一部分启动 Spark 应用程序。在安全集群中，启动的应用程序需要相关的令牌以访问集群的服务。如果 Spark 使用 keytab 启动，则这一过程是自动的。但是，如果 Spark 要在没有 keytab 的情况下启动，则必须将设置安全性的责任交给 Oozie。

关于为安全集群配置 Oozie 以及获取作业凭证的详细信息，请访问 Oozie 网站 ，查看特定版本文档中的“身份验证”部分。

对于 Spark 应用程序，必须设置 Oozie 工作流，以便 Oozie 请求应用程序所需的所有令牌，包括：

• YARN资源管理器。
• 本地Hadoop文件系统。
• 作为输入或输出源或目标的任何远程Hadoop文件系统。
• Hive —如果使用的话。
• HBase —如果使用的话。
• YARN时间线服务器，如果应用程序与此交互。

为了避免Spark尝试——然后失败——获取Hive、HBase和远程HDFS令牌，必须将Spark配置设置为禁用这些服务的令牌收集。

Spark 配置必须包含以下行：

spark.security.credentials.hive.enabled   假
spark.security.credentials.hbase.enabled  假

配置选项 spark.kerberos.access.hadoopFileSystems 必须未设置。

使用 Spark 历史服务器替代 Spark Web UI

可以使用Spark历史服务器应用程序页面作为运行应用程序的跟踪URL，当应用程序UI被禁用时。这在安全集群上可能是可取的，或者为了减少Spark驱动程序的内存使用。要通过Spark历史服务器设置跟踪，请执行以下操作：

• 在应用程序的一侧，在Spark的配置中设置 spark.yarn.historyServer.allowTracking=true 。这将告诉Spark在应用程序的UI被禁用时使用历史服务器的URL作为跟踪URL。
• 在Spark历史服务器上，将 org.apache.spark.deploy.yarn.YarnProxyRedirectFilter 添加到 spark.ui.filters 配置中的过滤器列表。

请注意，历史服务器信息可能与应用程序的状态不一致。

运行多个版本的 Spark Shuffle 服务

请注意，本节仅适用于运行在 YARN 版本 >= 2.9.0 的情况下。

在某些情况下，运行多个使用不同版本 Spark 的 Shuffle 服务实例可能是有利的。例如，当运行一个 YARN 集群，其中包含运行多个 Spark 版本的混合工作负载时，这可能会很有帮助，因为给定版本的 Shuffle 服务并不总是与其他版本的 Spark 兼容。从 2.9.0 开始的 YARN 版本支持在隔离的类加载器中运行 Shuffle 服务 （见 YARN-4577 ），这意味着多个 Spark 版本可以在单个 NodeManager 中共存。 yarn.nodemanager.aux-services. .classpath 及从 YARN 2.10.2/3.1.1/3.2.0 开始， yarn.nodemanager.aux-services. .remote-classpath 选项可用于配置此项。请注意，YARN 3.3.0/3.3.1 存在一个问题，需要将 yarn.nodemanager.aux-services. .system-classes 设置为解决方法。有关详细信息，请参见 YARN-11053 。除了设置单独的类路径外，还需要确保两个版本对不同的端口进行广播。 这可以通过上述描述的 spark-shuffle-site.xml 文件来实现。例如，您可能有如下配置：

 yarn.nodemanager.aux-services = spark_shuffle_x,spark_shuffle_y
yarn.nodemanager.aux-services.spark_shuffle_x.classpath = /path/to/spark-x-path/fat.jar:/path/to/spark-x-config
yarn.nodemanager.aux-services.spark_shuffle_y.classpath = /path/to/spark-y-path/fat.jar:/path/to/spark-y-config

或者

 yarn.nodemanager.aux-services = spark_shuffle_x,spark_shuffle_y
yarn.nodemanager.aux-services.spark_shuffle_x.classpath = /path/to/spark-x-path/*:/path/to/spark-x-config
yarn.nodemanager.aux-services.spark_shuffle_y.classpath = /path/to/spark-y-path/*:/path/to/spark-y-config

这两个 spark-*-config 目录各包含一个文件， spark-shuffle-site.xml 。这些是 Hadoop 配置格式 的 XML 文件，每个文件包含几个配置项，用于调整使用的端口号和指标名称前缀：

spark.shuffle.service.port
7001


spark.yarn.shuffle.service.metrics.namespace
sparkShuffleServiceX

这两个不同服务的值应该是不同的。

然后，在Spark应用的配置中，应配置为：

 spark.shuffle.service.name = spark_shuffle_x
spark.shuffle.service.port = 7001

并且应该配置为：

 spark.shuffle.service.name = spark_shuffle_y
spark.shuffle.service.port = <其他值>