资源估算器服务

动机

估算作业资源需求对企业集群来说仍然是一个重要且具有挑战性的问题。随着工作负载日益复杂化（从传统的批处理作业到交互式查询，再到流处理以及最近的机器学习作业），这一问题变得更加突出。这导致作业需要依赖多种计算框架（如Tez、MapReduce、Spark等），而集群的共享特性进一步加剧了问题的复杂性。当前最先进的解决方案依赖于用户专业知识来估算作业资源需求（例如reducer数量或容器内存大小等），这种方式既繁琐又低效。

通过对集群工作负载的分析，我们观察到大部分作业（超过60%）是重复性作业，这使我们有机会基于作业历史运行记录自动估算资源需求。值得注意的是，这些作业通常来自不同的计算框架，且每次运行的版本也可能发生变化。因此，我们希望开发一个与框架无关的黑盒解决方案，为重复性作业自动进行资源需求估算。

目标

• 对于周期性作业，分析其历史日志并预测新运行所需的资源需求。
• 支持多种类型的作业日志。
• 扩展到TB级别的作业日志。

架构

下图展示了资源估算器的实现架构。

Hadoop-resourceestimator主要由三个模块组成：Translator、SkylineStore和Estimator。

1. ResourceSkyline 用于描述作业在其生命周期内的资源利用率。具体来说，它使用 RLESparseResourceAllocation (https://github.com/apache/hadoop/blob/b6e7d1369690eaf50ce9ea7968f91a72ecb74de0/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-resourcemanager/src/main/java/org/apache/hadoop/yarn/server/resourcemanager/reservation/RLESparseResourceAllocation.java) 来记录容器分配信息。RecurrenceId 用于标识周期性流水线的特定运行实例。一个流水线可能包含多个作业，每个作业都有一个 ResourceSkyline 来描述其资源利用率。
2. Translator解析作业日志，提取其中的ResourceSkylines并将其存储到SkylineStore中。SingleLineParser解析日志流中的单行并提取ResourceSkyline。LogParser使用SingleLineParser递归解析日志流中的每一行。请注意，日志可能具有不同的存储格式，因此LogParser接收字符串流作为输入，而不是文件或其他格式。由于作业日志可能有多种格式，因此需要不同的SingleLineParser实现，LogParser会根据用户配置初始化SingleLineParser。目前Hadoop-resourceestimator为SingleLineParser提供了两种实现：NativeSingleLineParser支持优化的原生格式，而RMSingleLineParser解析Hadoop系统中生成的YARN ResourceManager日志（因为RM日志在生产部署中广泛可用）。
3. SkylineStore 作为Hadoop资源估算器的存储层，包含两个部分。HistorySkylineStore 存储由Translator提取的ResourceSkylines。它支持四种操作：addHistory（添加历史记录）、deleteHistory（删除历史记录）、updateHistory（更新历史记录）和getHistory（获取历史记录）。addHistory将新的ResourceSkylines追加到循环管道中，而updateHistory会删除特定循环管道的所有ResourceSkylines，并重新插入新的ResourceSkylines。PredictionSkylineStore存储由估算器生成的预测RLESparseResourceAllocation。它支持两种操作：addEstimation（添加估算）和getEstimation（获取估算）。

   目前Hadoop资源估算器为SkylineStore提供了内存实现。

4. Estimator 根据历史运行记录预测周期性流水线的资源需求，将预测结果存储到SkylineStore中，并向YARN提交周期性资源预留(YARN-5326)。Solver读取特定周期性流水线的所有历史ResourceSkylines记录，预测其新的资源需求并封装为RLESparseResourceAllocation。当前Hadoop-resourceestimator提供LPSOLVER进行预测（线性规划模型细节可查阅论文）。另提供BaseSolver将预测的资源需求转换为ReservationSubmissionRequest，供不同求解器实现用于在YARN上创建周期性资源预留。
5. ResourceEstimationService 将Hadoop-resourceestimator封装为微服务，可轻松部署在集群中。它提供一组REST API，允许用户解析指定的作业日志、查询流水线的历史ResourceSkylines、查询流水线的预测资源需求，并在预测不存在时运行SOLVER，以及删除SkylineStore中的ResourceSkylines。

步骤1：启动评估器

首先，将配置文件（位于$ResourceEstimatorServiceHome/conf/）复制到$HADOOP_ROOT/etc/hadoop目录下。

启动估算器的脚本是start-estimator.sh。

$ cd $ResourceEstimatorServiceHome
$ bin/start-estimator.sh

启动了一个Web服务器，用户可以通过REST API使用资源估算服务。

步骤2：运行估算器

资源估算器服务的URI为http://0.0.0.0，默认服务端口为9998（配置在$ResourceEstimatorServiceHome/conf/resourceestimator-config.xml中）。在$ResourceEstimatorServiceHome/data目录下有一个示例日志文件resourceEstimatorService.txt，其中包含tpch_q12查询作业运行2次的日志记录。

• parse job logs: POST http://URI:port/resourceestimator/translator/LOG_FILE_DIRECTORY

发送 POST http://0.0.0.0:9998/resourceestimator/translator/data/resourceEstimatorService.txt。底层估算器将从日志文件中提取ResourceSkylines，并将其存储在jobHistory SkylineStore中。

• 查询作业历史资源轮廓: GET http://URI:port/resourceestimator/skylinestore/history/{pipelineId}/{runId}

发送 GET http://0.0.0.0:9998/resourceestimator/skylinestore/history/*/*，底层估算器将返回历史SkylineStore中的所有记录。您应该能看到两次运行tpch_q12的资源轮廓：tpch_q12_0和tpch_q12_1。请注意，pipelineId和runId字段都支持通配符操作。

• 预测作业的资源需求轮廓: GET http://URI:port/resourceestimator/estimator/{pipelineId}

发送 http://0.0.0.0:9998/resourceestimator/estimator/tpch_q12，底层估算器将根据历史资源天际线预测新作业运行的资源需求，并将预测的资源需求存储到 jobEstimation SkylineStore。

• 查询作业的预估资源天际线: GET http://URI:port/resourceestimator/skylinestore/estimation/{pipelineId}

发送 http://0.0.0.0:9998/resourceestimator/skylinestore/estimation/tpch_q12，底层估算器将返回tpch_q12作业的历史资源需求估算。请注意，对于jobEstimation SkylineStore，它不支持通配符操作。

• 删除作业的历史资源天际线: DELETE http://URI:port/resourceestimator/skylinestore/history/{pipelineId}/{runId}

发送 http://0.0.0.0:9998/resourceestimator/skylinestore/history/tpch_q12/tpch_q12_0，底层估算器将删除tpch_q12_0的ResourceSkyline记录。重新发送 GET http://0.0.0.0:9998/resourceestimator/skylinestore/history/*/*，底层估算器将仅返回tpch_q12_1的ResourceSkyline。

步骤3：运行估算器

停止估计器的脚本是stop-estimator.sh。

$ cd $ResourceEstimatorServiceHome
$ bin/stop-estimator.sh