CN107656805A

CN107656805A - 一种基于Hadoop平台的电力数据作业调度方法

Info

Publication number: CN107656805A
Application number: CN201710986117.5A
Authority: CN
Inventors: 林斌; 曾瑛; 李星南; 施展; 朱文红; 汪莹
Original assignee: Electric Power Dispatch Control Center of Guangdong Power Grid Co Ltd
Current assignee: Electric Power Dispatch Control Center of Guangdong Power Grid Co Ltd
Priority date: 2017-10-20
Filing date: 2017-10-20
Publication date: 2018-02-02

Abstract

本发明涉及电力数据作业调度的技术领域，更具体地，涉及一种基于Hadoop平台的电力数据作业调度方法。包括如下步骤：S1、提交任务并初始化等待队列；S2、确定当前任务，判断当前任务的类型，将当前任务分配到步骤S1中相应类型的队列中；S3、判断节点类型，并从任务队列中取出与节点相应类型的任务；S4、判断有没有慢任务，如果有慢任务就在另一个节点上备份任务并执行，如果没有慢任务就让其继续执行下去。利用剩余时间算法、资源分类策略，使得Hadoop在调度任务时，节点的平均负载得到有效降低，完成任务的平均速度提高，部分节点的负载压力得到缓解，有效的解决了节点资源负载均衡问题。

Description

一种基于Hadoop平台的电力数据作业调度方法

技术领域

本发明涉及电力数据作业调度的技术领域，更具体地，涉及一种基于Hadoop平台的电力数据作业调度方法。

背景技术

随着数字信息化时代的迅猛发展，信息量也呈***式增长。作为基础能源支撑体系，中国电力***中的数据量也在不断的增加，中国的电力***已经成为了世界上最大规模的关系国计民生的专业物联网。为智能电网服务的电力通信网每时每刻都在生成海量的运维数据，并且随着电力通信网的扩大将生产更多运维数据，为了有效发掘利用电力通信网中的海量运维数据，目前普通数据库技术力有未逮，需要采用新的数据处理技术如分布式云计算平台对上述数据进行有效的清洗、处理和分析。Hadoop是一个开源框架，它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据。它的目的是从单一的服务器到上千台机器的扩展，每一个台机都可以提供本地计算和存储。Hadoop大数据计算平台能够对海量数据进行分布式的处理，利用多个节点解决单节点的数据储存、计算局限等，现在已经成为时下最流行的大数据处理平台之一。

Hadoop2.0中引入了Yarn架构，它是一个通用的资源调度框架，为上层的服务提供资源管理和调度功能。作业调度技术目前还未处于成熟阶段，现有的FIFO调度算法、公平份额调度算法、计算能力调度算法三种算法都存在一些不足之处。更重要的是，三种调度策略均是在同构环境下较为有效，没有考虑节点的负载均衡条件，在异构环境中节点的处理能力差别很大，会导致***的作业调度性能下降。为了解决电力数据作业调度中的负载均衡问题，引入了LATE调度算法，但在此算法中依然存在着不足。所以，本技术针对负载均衡的LATE算法进行优化，提出了一种改进的LATE作业调度方法。

为了解现有技术的发展状况，对已有的专利和文献进行了检索、比较和分析，筛选出如下与本发明相关度比较高的技术信息：

专利方案1：201410425841.7一种基于负载均衡的推测式Hadoop调度方法，该专利提出一种基于负载均衡的推测式Hadoop调度方法，首先需要判定慢任务，然后选取快节点执行慢任务的备份任务，在执行选定的慢任务的备份任务时保证集群***的负载均衡。提出的所述方法通过设计了合理简单的慢任务确定方法及选取快节点执行备份任务的策略，优化了作业执行性能。这种策略不仅考虑了作业执行性能，也考虑了集群中负载均衡现象。该方法避免了集群负载失衡现象的发生，提高了Hadoop集群整体的性能。

专利方案2：201610609466.0一种Hadoop大数据平台中基于备份任务运行时间估计的调度方法，该专利设计了一种Hadoop大数据平台中基于备份任务运行时间估计的调度方法，属于云计算平台优化技术领域。该方法采用SDN带宽感知能力，建立BWRE备份任务运行时间估计模型，对基于备份任务推测执行机制的备份任务调度方法进行优化；通过为节点任务请求者TTi分配备份任务时加入慢任务的剩余时间与预启动备份任务在该TTi上的估计运行时间之间的对比，增加此备份任务的可信赖程度，即相信这个备份任务能够比原始慢任务更早结束，从而提高备份任务的有效率。该方法这不仅可以缩短作业周转时间，还可以降低无效备份任务带来的***资源浪费。

上述专利方案1的缺陷：该方案判断慢任务的算法使用总的任务时间与任务开始的时间做差值。但是在不同阶段，由于对作业的影响因素不同，资源的需求情况不同，导致作业执行速度产生差异。因此仅仅简单地以平均速度来估计任务的剩余完成时间，显然是不符合实际的，所以这个算法并不一定能找到真正的慢任务，有可能造成错误判定慢任务。将任务备份到其他节点上，重复执行之后，甚至要比原来节点执行完毕还要慢。用空间换时间的目的并没有达成，还浪费了其他节点的资源。

上述专利方案2的缺陷：该方案SDN带宽感知能力，建立BWRE备份任务运行时间估计模型。但是感知能力预估还是建立在建模估计的基础之上，而不是根据实时信息进行改变，具有一定的不准确性。并且该方案并没有考虑节点与任务各自的资源类型问题，导致可能会发生CPU资源短缺的节点获取到CPU应用频繁的任务。增加节点的负载，延长任务的处理时间。

发明内容

本发明为克服上述现有技术所述的至少一种缺陷，提供一种基于Hadoop平台的电力数据作业调度方法,为了减少慢任务的出现，Hadoop平台引入了推测式执行机制，并形成了以此为依据的LATE调度算法。推测式执行(SpeculativeExecution)是指在集群环境下运行MapReduce(一种编程模型)，为慢任务启动备份任务，让其进行竞争执行，最后取优先完成的任务结果作为最终结果，并杀死另外还没完成的任务，从而一定程度上减少了慢任务带来的计算资源的浪费。

为解决上述技术问题，本发明的技术方案如下：一种基于Hadoop平台的电力数据作业调度方法，包括如下步骤：

S1、提交任务并初始化等待队列；

S2、确定当前任务，判断当前任务的类型，将当前任务分配到步骤S1中相应类型的队列中；

S3、判断节点类型，并从任务队列中取出与节点相应类型的任务；

S4、判断有没有慢任务，如果有慢任务就在另一个节点上备份任务并执行，如果没有慢任务就让其继续执行下去。

进一步地，步骤S1具体包括：

S11、用户在客户端中选取要执行的作业，并将它提交到等待队列W＝{w_i}中，其中w_i为等待队列内元素，i＝1，2，…，N，其中，N为等待队列内元素总个数；

进一步地，步骤S2具体包括：

S21、从W＝{w_i}中取出当前任务T，计算该任务的输入数据的总量σ_in和任务的输出数据总量σ_out；计算当前任务完成时间τ_finish，通过公式(σ_in+σ_out)/τ_finish计算出此时任务的I/O速度；

S22、若此时任务的I/O速度满足大于磁盘I/O速度，即(σ_in+σ_out)/τ_finish＞v_I/O时，则判断为I/O密集型的任务，加入I/O密集型队列O＝{p_i}，其中，v_I/O为磁盘I/O速度，O＝{p_i}为I/O密集型队列,p_i为I/O密集型队列内元素,i＝1，2，…，M，其中，M为I/O密集型队列内元素总个数；

若此时任务的I/O速度满足小于磁盘I/O速度，即(σ_in+σ_out)/τ_finish<v_I/O时，则判断为CPU密集型的任务，加入CPU密集型队列U＝{q_i}其中，U＝{q_i}为CPU密集型队列,q_i为CPU密集型队列内元素,i＝1，2，…，L，其中，L为CPU密集型队列内元素总个数。

进一步地，步骤S3具体包括：

S31、获取到磁盘I/O速度v_I/O，CPU使用率v_CPU，I/O的使用率阈值Γ_I/O，CPU使用率的阈值Г_CPU；

S32、判断是否满足

如果不满足两个比值小于1，证明该节点是一个负载很大的节点，就放弃它寻找其他节点；

如果满足则说明该节点是一个负载较小的，I/O使用率较小的，适用于I/O密集型任务的节点；

如果满足则说明该节点是一个负载较小的，CPU使用率较小的，适用于CPU密集型任务的节点。

进一步地，步骤S4具体包括：

S41、记录***中运行过的任务总数num_T，***启动时间τ_start，当前***时间τ_now，***总数据输入量***总数据输出量计算***总数据处理量计算任务的平均处理速度

S42、在单位时间(一分钟内)计算数据瞬时处理速度v_now，比较当前任务瞬时速度v_now与任务的平均处理速度v_avg。如果v_now≥v_avg，那么则此任务不是慢任务，则在此节点继续执行下去；如果v_now<v_avg，那么判定此任务为慢任务，并复制到其他节点执行。

与现有技术相比，有益效果是：本发明的基于Hadoop平台的电力数据作业调度方法考虑了实时平台处理速度，并兼顾了任务类型，利用剩余时间算法、资源分类策略，使得Hadoop在调度任务时，节点的平均负载得到有效降低，完成任务的平均速度提高，部分节点的负载压力得到缓解，有效的解决了节点资源负载均衡问题。

附图说明

图1是本发明整体流程图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利的限制。

如图1所示，本发明的实例中，设置提交的数据清洗任务T大小为6GB，设置磁盘的I/O速度为10GB/s，CPU使用率阈值为60％，I/O使用率阈值为14GB/s，平均完成任务时间为0.3s作为示例数据。

S11、用户在客户端中选取要执行的作业T＝6GB并将它提交到W＝{w_i}中。转至步骤S12。

S12、等待作业类型的判断，转至步骤S21。

S21、从W＝{w_i}中取出任务T＝6GB，假设该任务的输入数据的总量σ_in＝4GB和任务的输出数据总量σ_out＝2GB。假设当前任务完成时间τ_finish＝0.5s，通过公式(σ_in+σ_out)/τ_finish计算出此时任务的I/O速度为12GB/s。转至步骤S22。

S22设此时磁盘I/O速度为10GB/s，12GB/s>10GB/s，即满足(σ_in+σ_out)/τ_finish＞v_I/O那么此任务T满足为I/O密集型的任务。把它加入I/O密集型队列O＝{p_i}。转至步骤S31。

S31、获取到磁盘I/O速度v_I/O＝10GB/s，CPU使用率v_CPU＝50％，I/O的使用率阈值Γ_I/O＝14GB/s，CPU使用率的阈值Γ_CPU＝60％。转至步骤S34。

S34、满足则说明该节点是一个负载较小的，I/O使用率较小的。适用于I/O密集型任务的节点。转至S41。

S41、假设***中运行过的所有的任务数目为100，***启动的时间为10:00:00，当前***时间为10:10:00，***数据输入总量120000GB，***数据输出总量60000GB，计算出数据处理总量60000GB，***中每个任务的平均处理速度v_avg＝1GB/s。转入S42。

S42、计算出数据处理当下任务的瞬时速度v_now＝0.3GB/s。比较当前任务瞬时速度0.3GB/s与平均处理速度1GB/s。0.3GB/s<1GB/s，即瞬时速度小于平均速度，那么判定此任务为慢任务，并复制到其他节点执行。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims

1.一种基于Hadoop平台的电力数据作业调度方法，其特征在于，包括如下步骤：

S1、提交任务并初始化等待队列；

2.根据权利要求1所述的基于Hadoop平台的电力数据作业调度方法，其特征在于，步骤S1具体包括：

S11、用户在客户端中选取要执行的作业，并将它提交到等待队列W＝{w_i}中，其中w_i为等待队列内元素，i＝1，2，…，N，其中，N为等待队列内元素总个数。

3.根据权利要求2所述的基于Hadoop平台的电力数据作业调度方法，其特征在于，步骤S2具体包括：

4.根据权利要求3所述的基于Hadoop平台的电力数据作业调度方法，其特征在于，步骤S3具体包括：

S31、获取到磁盘I/O速度v_I/O，CPU使用率v_CPU，I/O的使用率阈值Γ_I/O，CPU使用率的阈值Γ_CPU；

S32、判断是否满足

5.根据权利要求4所述的基于Hadoop平台的电力数据作业调度方法，其特征在于，步骤S4具体包括：

S42、在单位时间(一分钟内)计算数据瞬时处理速度v_now，比较当前任务瞬时速度v_now与任务的平均处理速度v_avg，如果v_now≥v_avg，那么则此任务不是慢任务，则在此节点继续执行下去；如果v_now<v_avg，那么判定此任务为慢任务，并复制到其他节点执行。