CN111930485A - 一种基于性能表现的作业调度方法 - Google Patents

Abstract

本发明提出了一种基于性能表现的作业调度方法，其主要针对大数据应用中的批量作业，主要可以应用于云，大数据处理***等分布式环境。该方法主要包括以下内容：作业完成时间的预测；小作业优先的策略；单步前瞻评价机制；超时作业处理机制；基于大数据处理***的算法实现；一个真实实验实例。本发明的作业调度方法，在保证周转时间最优的基础上，具有资源占有率平稳、决策可解释性强的优点。

Description

一种基于性能表现的作业调度方法

技术领域

本发明涉及云资源调度技术领域，尤其涉及一种基于性能表现的作业调度方法。

背景技术

作业调度是大数据平台的核心技术，它的主要功能是控制作业运行的顺序并提交用户的作业，使得用户的作业能够在某种资源上运行。由于漫长的执行时间和巨大的资源耗费，作业调度是云和大数据平台中的一个热点课题。

近年来人们对作业调度进行了各种分析，也提出了许多不同的作业调度方法，但这些算法都存在一些不足之处，例如，有的作业调度方法对于不同***状况的适应性较差，有的作业调度方法无法进行在线调度，因此急需一种能够满足日益增长的调度需求的作业调度方法。

发明内容

本发明所解决的技术问题在于提供一种最小化作业的周转时间，并能维持均衡的资源占有率能在真实的云平台和大数据平台进行调度的调度方法。

实现本发明目的的技术解决方案为：一种基于性能表现的作业调度方法，包括以下步骤：

步骤1，根据多种类型作业运行时的资源占有率，使用指数函数对每种类型作业的完成时间关于资源占有率的函数关系进行曲线拟合，根据拟合的曲线建立作业运行时间的预测模型，所述作业的类型包括CPU密集型、内存密集型和I/O密集型；

步骤2，在用户当前提交的作业列表中，根据超时作业处理机制和小作业优先策略对作业进行作业排序，生成作业调度优先序列；

步骤3，根据所述作业调度优先序列依次放入作业，直到资源占有率达到可行的资源占有率的数值，获得多种作业调度方案；

步骤4，计算每种所述作业调度方案的调度收益值，若所述调度收益值最大的作业调度方案的数量为1，选择所述调度收益值最大的作业调度方案进行调度；

步骤5，若所述调度收益值最大的作业调度方案的数量大于或等于2，对所有所述调度收益值最大的作业调度方案，使用单步前瞻算法，利用所述作业运行时间的预测模型，计算作业调度后所有作业平均周转时间的预测值，选择所述预测值最小的作业调度方案进行调度。

进一步地，在一种实现方式中，所述步骤2包括：

步骤2-1，调用所述超时作业处理机制，即比较所述作业列表中每个作业的已等待时间与预设作业最大超时时间，将超时的作业优先置入所述作业调度优先序列，所述超时的作业即满足已等待时间大于或等于预设作业最大超时时间的作业；

步骤2-2，根据所述小作业优先策略，即按照所述作业列表中每个作业的资源需求从小到大的顺序，将所述作业置入排序序列，生成作业调度优先序列。

进一步地，在一种实现方式中，所述步骤3包括：

步骤3-1，在预设的资源占有率范围内，遍历所有可行的资源占有率；

步骤3-2，对于每个所述可行的资源占有率，根据所述作业调度优先序列依次放入作业；

步骤3-3，当所述资源占有率达到可行的资源占有率的数值，停止放入所述作业，获得所述多种作业调度方案，所述多种作业调度方案至少包括两种。

进一步地，在一种实现方式中，所述步骤4中作业调度方案的调度收益值包括调度作业使得被调度作业等待时间的减少值和调度作业使得作业运行时间的增加值；

其中，所述调度作业使得被调度作业等待时间的减少值由调度***进行记录和更新；

所述调度作业使得作业运行时间的增加值为调度作业后作业的运行时间与调度作业前作业的运行时间的差值；

所述调度作业前作业的运行时间与调度作业后的作业的运行时间分别通过作业运行时间的预测模型进行预测获得。

进一步地，在一种实现方式中，所述步骤5中作业调度后所有作业平均周转时间的预测值等于被调度作业等待时间的减少值与调度作业对原有作业运行时间的减少值之差；

所述被调度作业等待时间的减少值由调度***进行实时记录和更新；

所述调度作业使得原有作业运行时间的减少值为调度新作业后作业运行时间与原有作业运行时间的差值；

所述调度作业后作业运行时间通过将调度作业后作业运行时的资源占有率输入作业运行时间预测模型后获得，所述原有作业运行时间为将原有作业的作业运行时的资源占有率输入作业运行时间预测模型后获得。

进一步地，在一种实现方式中，所述步骤5包括：

步骤5-1，模拟提交每种所述可选的作业调度方案中的所有作业，并根据所述每种可选的作业调度方案中每个作业的作业运行时间的预测模型获取作业调度后所有作业平均周转时间的预测值；

步骤5-2，对于未进行调度的作业，在资源占有率的限制下，按照短作业优先的策略，即优先调度预计运行时间较短的作业，模拟提交；

步骤5-3，对于每个所述作业，根据所述作业运行时间的预测模型，使用单步前瞻算法预测所述作业平均周转时间，选择预测获得的所述作业平均周转时间最短的方案进行调度；所述作业平均周转时间为所有所述作业运行完成的时间与作业调度开始时间的差值。

本发明与现有技术相比，其显著优点为：采用了基于规则的调度方法，与传统的调度方法相比，在缩短了作业平均周转时间的同时，降低了端到端的延时，并将资源占有率控制在合理的范围之内。此外，本方案可在不同的工作负载下进行作业调度，对作业进行在线实时调度。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例部分提供的一种基于性能表现的作业调度方法的工作流程示意图；

图2是本发明实施例部分提供的一种基于性能表现的作业调度方法的实现架构示意图；

图3是本发明实施例部分提供的一种基于性能表现的作业调度方法中时间预测函数的拟合图像示意图；

图4是本发明实施例部分提供的一种基于性能表现的作业调度方法中作业平均周转时间的比较示意图；

图5是本发明实施例部分提供的一种基于性能表现的作业调度方法中中央处理器资源占有率的比较示意图；

图6是本发明实施例部分提供的一种基于性能表现的作业调度方法中内存资源占有率的比较示意图；

图7是本发明实施例部分提供的一种基于性能表现的作业调度方法中作业完成时间的比较示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明实施例公开一种基于性能表现的作业调度方法，本方法应用于大规模云计算环境下解决作业调度问题，在大规模云计算环境下对作业调度方法的运行效率，实时性和鲁棒性均提出了极高的要求。而本发明在云作业调度问题中，具有较强的实时性和鲁棒性，同时运行效率高于当前常见的作业调度方法。

如图1所示，本实施例提供的一种基于性能表现的作业调度方法，包括以下步骤：

步骤1，根据多种类型作业运行时的资源占有率，使用指数函数对每种类型作业的完成时间关于资源占有率的函数关系进行曲线拟合，根据拟合的曲线建立作业运行时间的预测模型，所述作业的类型包括CPU密集型、内存密集型和I/O密集型；

步骤2，在用户当前提交的作业列表中，根据超时作业处理机制和小作业优先策略对作业进行作业排序，生成作业调度优先序列；

步骤3，根据所述作业调度优先序列依次放入作业，直到资源占有率达到可行的资源占有率的数值，获得多种作业调度方案；本实施例中，所述可行的资源利用率数值由***管理员根据***运行状况确定。

步骤4，计算每种所述作业调度方案的调度收益值，若所述调度收益值最大的作业调度方案的数量为1，选择所述调度收益值最大的作业调度方案进行调度；

步骤5，若所述调度收益值最大的作业调度方案的数量大于或等于2，对所有所述调度收益值最大的作业调度方案，使用单步前瞻算法，利用所述作业运行时间的预测模型，计算作业调度后所有作业平均周转时间的预测值，选择所述预测值最小的作业调度方案进行调度。

本实施例所述的一种基于性能表现的作业调度方法中，所述步骤2包括：

步骤2-1，调用所述超时作业处理机制，即比较所述作业列表中每个作业的已等待时间与预设作业最大超时时间，将超时的作业优先置入所述作业调度优先序列，所述超时的作业即满足已等待时间大于或等于预设作业最大超时时间的作业；本实施例中，所述作业的已等待时间为作业等待调度算法进行调度的时间，由调度算法进行记录。

步骤2-2，根据所述小作业优先策略，即按照所述作业列表中每个作业的资源需求从小到大的顺序，将所述作业置入排序序列，生成作业调度优先序列。本实施例中，所述作业的资源需求由调度作业的用户进行指定。

本实施例所述的一种基于性能表现的作业调度方法中，所述步骤3包括：

步骤3-1，在预设的资源占有率范围内，遍历所有可行的资源占有率；

步骤3-2，对于每个所述可行的资源占有率，根据所述作业调度优先序列依次放入作业；

步骤3-3，当所述资源占有率达到可行的资源占有率的数值，停止放入所述作业，获得所述多种作业调度方案，所述多种作业调度方案至少包括两种。

本实施例所述的一种基于性能表现的作业调度方法中，所述步骤4中作业调度方案的调度收益值包括调度作业使得被调度作业等待时间的减少值和调度作业使得作业运行时间的增加值；

其中，所述调度作业使得被调度作业等待时间的减少值由调度***进行记录和更新；

所述调度作业使得作业运行时间的增加值为调度作业后作业的运行时间与调度作业前作业的运行时间的差值；

所述调度作业前作业的运行时间与调度作业后的作业的运行时间分别通过作业运行时间的预测模型进行预测获得。

本实施例所述的一种基于性能表现的作业调度方法中，所述步骤5中作业调度后所有作业平均周转时间的预测值等于被调度作业等待时间的减少值与调度作业对原有作业运行时间的减少值之差；

所述被调度作业等待时间的减少值由调度***进行实时记录和更新；

所述调度作业使得原有作业运行时间的减少值为调度新作业后作业运行时间与原有作业运行时间的差值；

所述调度作业后作业运行时间通过将调度作业后作业运行时的资源占有率输入作业运行时间预测模型后获得，所述原有作业运行时间为将原有作业的作业运行时的资源占有率输入作业运行时间预测模型后获得。

本实施例所述的一种基于性能表现的作业调度方法中，所述步骤5包括：

步骤5-1，模拟提交每种所述可选的作业调度方案中的所有作业，并根据所述每种可选的作业调度方案中每个作业的作业运行时间的预测模型获取作业调度后所有作业平均周转时间的预测值；本实施例中，所述模拟提交即将作业调度方案中的作业填充至资源中，并使用作业运行时间预测模型预测各个作业的结束时间。

步骤5-2，对于未进行调度的作业，在资源占有率的限制下，按照短作业优先的策略，即优先调度预计运行时间较短的作业，模拟提交；

步骤5-3，对于每个所述作业，根据所述作业运行时间的预测模型，使用单步前瞻算法预测所述作业平均周转时间，选择预测获得的所述作业平均周转时间最短的方案进行调度；所述作业平均周转时间为所有所述作业运行完成的时间与作业调度开始时间的差值。

具体的，结合图2，本发明的一种基于性能表现的作业调度方法，包括以下步骤：

第一步：根据不同类型作业运行时的资源占用情况，使用指数函数拟合作业完成时间关于资源占有率的函数关系，建立作业完成时间的预测模型；

第二步：在用户当前提交的作业列表中，根据小作业优先的策略和超时作业处理机制进行作业排序，生成作业调度优先序列；

(1)：调用超时作业处理机制，比较每个作业的已等待时间与预设的作业的最大超时时间，并将超时的作业优先置入排序序列；

(2)：使用小作业优先策略，按照资源需求从小到大的顺序将作业置入排序序列。

第三步：在固定的资源占有率范围内，遍历所有可行的资源占有率，对于每一个资源占有率，根据作业调度优先序列依次放入作业，直到资源占用达到该数值，获得若干种作业调度方案

第四步：对于每种可选的作业调度方案，计算调度收益值，调度收益值计算方法为:调度预测值等于被调度作业减少的等待时间，减去提交新作业对原有作业运行时间的减少值；然后选择其中一个或多个收益值最大的方案，作为可选的作业调度方案；

第五步：对于每个可选的作业调度方案，使用单步前瞻算法，利用作业完成时间的预测函数，模拟计算作业调度后所有作业周转时间的预测值，选择预测值最大的集合提交。

(1)：模拟提交该作业调度方案中的所有作业，并根据作业完成时间的预测模型预测每个作业完成时间；

(2)：对于等待队列中未被提交的作业，在资源占有率的限制下，按照短作业优先的策略模拟提交；

(3)：对于每个作业，根据作业完成时间的预测模型，计算作业在对应资源条件下的完成时间。

下面结合实施例对本发明做进一步详细的描述：

实施例：

基于性能的作业调度方法实施于基于Spark(1.6.0)的Hadoop YARN(2.6.0)，通过在源代码中编写一个基于性能的作业调度器插件，如图2所示。实验在一个具有五台物理服务器的本地集群进行、每台服务器配有有两个8核Intel Xeon E5-2650v2 2.6GHz处理器，256GB内存，1.5TB磁盘空间，运行软件环境为CentOS 6.0，Java 1.7.0_55和Python 3.5，所有服务器通过高速1.5Gbps局域网进行连接。为了使得实际部署具有一致性并避免干扰，我们在每个实验中在不同的物理服务器运行了基于Spark的YARN，工作负载生成器和基于性能的作业调度算法。

为了评估基于性能的作业调度器，我们用四个目前最好的调度算法进行比较，称为先进先出(First In First Out，FIFO)算法，层次分析(Analytic Hierarchy Process，AHP)算法，最短作业优先(Shortest Job First，SJF)算法和作业调度(Dominant ResourceFairness，DRF)算法。下面对每个算法进行一个简要的描述。

FIFO算法将所有作业按照提交顺序进行排列，即先进先出，它是YARN的默认调度器。

AHP算法是一个云计算中基于优先级的作业调度算法，它是一个基于多标准和多属性的决策模型。

SJF算法将所有的作业按照执行时间进行排序，并且优先执行最短的作业。

DRF算法是一个传统公平调度算法在多种资源上的扩展，它基于CPU和内存的资源可得性决定对应资源的使用情况。

在基于性能的调度算法(Performance-Aware Scehduler，PAS)中，我们设定CPU使用率的上下界为[0.5，0.9]，内存使用率的上下界为[0.75，0.1]，算法每隔一秒进行一次决策。

我们使用了一个有名的大数据基准平台HiBench，来生成Spark工作负载。其中，我们选择了三种小型基准的十种不同的工作负载，例如SparkPi，WordCount，和Sort，另有七种机器学***均聚类算法，梯度增强树，线性回归，主成分分析法和随机森林，对于每种工作负载，我们选择了两种不同大小的数据集和三种不同的二维资源请求，如两个处理器核4GB内存，三个处理器核6GB内存，四个处理器核8GB内存，以测试基于性能的调度算法能否在不同的***状况下进行实时在线调度。

实验中从候选工作负载中随机选择生成，构建了六组不同数量的作业集合，即15，30，45，60，75，90。对于每一个实验组和一个调度算法，我们进行十次独立运行并且分别记录其数据。

实验结果评估采取了三种度量方式，包括平均周转时间，资源占有率，完成时间。其中平均周转时间描述了一个作业从开始提交到执行完毕的时间间隔，该指标度量了用户角度的调度器性能，资源占有率度量了服务提供者的资源占有效率，完成时间定义了一批作业从开始提交到全部执行完毕的时间间隔，度量了服务提供者角度的作业完成效率。

实验结果表明，如图3所示，作业运行时间的预测模型作业运行时间预测准确率达到90％左右；如图4所示，每一组数据中，从左到右分别表示PAS、AHP、SJF、FIFO和DRF这五种算法，由图4可以得知，基于性能的作业调度算法在平均周转时间优于其它算法10％以上；如图5所示，在资源占有率方面，基于性能的作业调度算法在69.04％的时间内CPU占有率处于预设范围[0.5，0.9]内；如图6所示，基于性能的作业调度算法76.19％的时间内内存占有率处于预设范围[0.75，1]内；如图7所示，基于性能的作业调度算法完成时间优于其它算法。

实验结果表明，基于性能的作业调度算法在平均周转时间上优于其它算法，运行时能保证资源占有率稳定处于预设范围内，并在作业完成时间上优于其它算法。

本发明与现有技术相比，其显著优点为：采用了基于规则的调度方法，与传统的调度方法相比，在缩短了作业平均周转时间的同时，降低了端到端的延时，并将资源占有率控制在合理的范围之内。此外，本方案可在不同的工作负载下进行作业调度，对作业进行在线实时调度。

具体实现中，本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的一种基于性能表现的作业调度方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-onlymemory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中各个实施例之间相同相似的部分互相参见即可。以上所述的本发明实施方式并不构成对本发明保护范围的限定。

Claims (6)

1.一种基于性能表现的作业调度方法，其特征在于，包括以下步骤：

步骤1，根据多种类型作业运行时的资源占有率，使用指数函数对每种类型作业的完成时间关于资源占有率的函数关系进行曲线拟合，根据拟合的曲线建立作业运行时间的预测模型，所述作业的类型包括CPU密集型、内存密集型和I/O密集型；

步骤2，在用户当前提交的作业列表中，根据超时作业处理机制和小作业优先策略对作业进行作业排序，生成作业调度优先序列；

步骤3，根据所述作业调度优先序列依次放入作业，直到资源占有率达到可行的资源占有率的数值，获得多种作业调度方案；

步骤4，计算每种所述作业调度方案的调度收益值，若所述调度收益值最大的作业调度方案的数量为1，选择所述调度收益值最大的作业调度方案进行调度；

步骤5，若所述调度收益值最大的作业调度方案的数量大于或等于2，对所有所述调度收益值最大的作业调度方案，使用单步前瞻算法，利用所述作业运行时间的预测模型，计算作业调度后所有作业平均周转时间的预测值，选择所述预测值最小的作业调度方案进行调度。

2.根据权利要求1所述的一种基于性能表现的作业调度方法，其特征在于，所述步骤2包括：

步骤2-1，调用所述超时作业处理机制，即比较所述作业列表中每个作业的已等待时间与预设作业最大超时时间，将超时的作业优先置入所述作业调度优先序列，所述超时的作业即满足已等待时间大于或等于预设作业最大超时时间的作业；

步骤2-2，根据所述小作业优先策略，即按照所述作业列表中每个作业的资源需求从小到大的顺序，将所述作业置入排序序列，生成作业调度优先序列。

3.根据权利要求1所述的一种基于性能表现的作业调度方法，其特征在于，所述步骤3包括：

步骤3-1，在预设的资源占有率范围内，遍历所有可行的资源占有率；

步骤3-2，对于每个所述可行的资源占有率，根据所述作业调度优先序列依次放入作业；

步骤3-3，当所述资源占有率达到可行的资源占有率的数值，停止放入所述作业，获得所述多种作业调度方案，所述多种作业调度方案至少包括两种。

4.根据权利要求1所述的一种基于性能表现的作业调度方法，其特征在于，所述步骤4中作业调度方案的调度收益值包括调度作业使得被调度作业等待时间的减少值和调度作业使得作业运行时间的增加值；

其中，所述调度作业使得被调度作业等待时间的减少值由调度***进行记录和更新；

所述调度作业使得作业运行时间的增加值为调度作业后作业的运行时间与调度作业前作业的运行时间的差值；

所述调度作业前作业的运行时间与调度作业后的作业的运行时间分别通过作业运行时间的预测模型进行预测获得。

5.根据权利要求1所述的一种基于性能表现的作业调度方法，其特征在于，所述步骤5中作业调度后所有作业平均周转时间的预测值等于被调度作业等待时间的减少值与调度作业对原有作业运行时间的减少值之差；

所述被调度作业等待时间的减少值由调度***进行实时记录和更新；

所述调度作业使得原有作业运行时间的减少值为调度新作业后作业运行时间与原有作业运行时间的差值；

所述调度作业后作业运行时间通过将调度作业后作业运行时的资源占有率输入作业运行时间预测模型后获得，所述原有作业运行时间为将原有作业的作业运行时的资源占有率输入作业运行时间预测模型后获得。

6.根据权利要求1所述的一种基于性能表现的作业调度方法，其特征在于，所述步骤5包括：

步骤5-1，模拟提交每种所述可选的作业调度方案中的所有作业，并根据所述每种可选的作业调度方案中每个作业的作业运行时间的预测模型获取作业调度后所有作业平均周转时间的预测值；

步骤5-2，对于未进行调度的作业，在资源占有率的限制下，按照短作业优先的策略，即优先调度预计运行时间较短的作业；

步骤5-3，对于每个所述作业，根据所述作业运行时间的预测模型，使用单步前瞻算法预测所述作业平均周转时间，选择预测获得的所述作业平均周转时间最短的方案进行调度；所述作业平均周转时间为所有所述作业运行完成的时间与作业调度开始时间的差值。

Images