[平台建设] Spark任务的诊断调优

背景

目前，平台上的大部分任务都是Spark任务，用户在提交Spark作业时需要配置Spark executor的个数、每个executor的核心数以及executor的内存大小等。这些配置主要依赖于用户的个人经验，导致一些用户设置不合理，例如配置过大的内存，而实际任务运行时所需的内存却非常少。基于此，我们希望开发一个工具来分析任务，帮助用户监控和优化任务，并提供建议，使任务更加高效，同时减少资源配置不当对其他用户任务的影响。

通过调研，我们发现了一个开源项目Dr. Elephant，它的目标与我们的需求基本一致。

Dr. Elephant介绍：

Dr. Elephant是一款针对Apache Hadoop和Apache Spark的作业和流程级性能监控与调优工具。

Dr功能介绍：

更多详细信息请参考Dr. Elephant的用户指南：https://www.php.cn/link/ee9a1fc09b64d5cdd17ba7b7f6640409

为了满足我们的一些定制化需求，我们需要了解Dr. Elephant的架构，并阅读其源码进行相关改造和适配。

Dr. Elephant的系统架构如下图所示，主要包括三个部分：

• 数据采集：数据源为Job History
• 诊断和建议：内置诊断系统
• 存储和展示：MySQL和WebUI

Dr. Elephant定期从Hadoop平台的YARN资源管理中心获取近期的所有任务，包括成功和失败的任务。每个任务的元数据（如任务计数器、配置信息和运行信息）可以从Hadoop平台的历史任务服务端获取。一旦获取到任务的元数据，Dr. Elephant会基于这些数据运行启发式算法，生成一份关于该任务性能的诊断报告。报告会根据任务的执行情况，为任务标记一个待优化的严重性级别。严重性级别分为五级，报告会对任务进行级别定位，并通过级别表明任务中存在的性能问题的严重程度。

启发式算法的主要任务包括：

• 获取数据
• 量化计算打分
• 将分值与不同诊断等级阈值进行比较
• 给出诊断等级

源码解析与改造

千帆大模型平台

面向企业开发者的一站式大模型开发及服务运行平台

0

查看详情

首先，我们需要了解Dr. Elephant的整体运行流程。

由于我们只关注Spark任务，下面主要介绍Spark指标的采集方式。

我们已经了解了Dr. Elephant执行的大致流程，因为只采集Spark任务，所以不需要太多额外的代码和抽象。关键的改造步骤如下：

1. 通过YARN API获取执行的作业，只需要对ExecutorJob直接使用org.apache.spark.deploy.history.SparkFSFetcher#fetchData方法，获取eventlog，并对eventlog进行重放解析。
2. 将解析后的数据获取相关需要的信息，直接写入MySQL库。因为涉及连接HDFS、YARN等服务，需要将hdfs-site.xml、core-site.xml等文件放置在配置目录下。
3. 最终将程序改造成一个main方法直接运行的常驻进程。采集后的主要信息包括：
   • 采集stage相关指标信息
   • 采集app任务配置、executor个数、核数等，执行开始时间、结束时间、耗时等

改造后的整体流程如下：

在规则平台上进行配置，根据规则对相关指标定级，并以不同颜色区分展示，同时给出相关的诊断意见。

总结

本文主要基于平台用户平常提交的Spark任务进行思考，调研并引入Dr. Elephant。通过阅读Dr. Elephant的相关源码，理解其执行的整体流程，并对代码进行改造，适配我们的需求。最终将其转变为平台产品，用于对用户的Spark任务进行诊断并提供相关的调优建议。

参考资料：

• https://www.php.cn/link/8d4965eaf92972d652fd44ece6f79533
• https://www.php.cn/link/92f2c86007260e130e78c68fb7d800a1
• https://www.php.cn/link/9a1a05c42c96b161ecd2884b758e114a

以上就是[平台建设] Spark任务的诊断调优的详细内容，更多请关注php中文网其它相关文章！