CN107656805A - 一种基于Hadoop平台的电力数据作业调度方法 - Google Patents
一种基于Hadoop平台的电力数据作业调度方法 Download PDFInfo
- Publication number
- CN107656805A CN107656805A CN201710986117.5A CN201710986117A CN107656805A CN 107656805 A CN107656805 A CN 107656805A CN 201710986117 A CN201710986117 A CN 201710986117A CN 107656805 A CN107656805 A CN 107656805A
- Authority
- CN
- China
- Prior art keywords
- task
- node
- queue
- speed
- cpu
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000012545 processing Methods 0.000 claims description 9
- 101100020619 Arabidopsis thaliana LATE gene Proteins 0.000 description 4
- 241001269238 Data Species 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明涉及电力数据作业调度的技术领域,更具体地,涉及一种基于Hadoop平台的电力数据作业调度方法。包括如下步骤:S1、提交任务并初始化等待队列;S2、确定当前任务,判断当前任务的类型,将当前任务分配到步骤S1中相应类型的队列中;S3、判断节点类型,并从任务队列中取出与节点相应类型的任务;S4、判断有没有慢任务,如果有慢任务就在另一个节点上备份任务并执行,如果没有慢任务就让其继续执行下去。利用剩余时间算法、资源分类策略,使得Hadoop在调度任务时,节点的平均负载得到有效降低,完成任务的平均速度提高,部分节点的负载压力得到缓解,有效的解决了节点资源负载均衡问题。
Description
技术领域
本发明涉及电力数据作业调度的技术领域,更具体地,涉及一种基于Hadoop平台的电力数据作业调度方法。
背景技术
随着数字信息化时代的迅猛发展,信息量也呈***式增长。作为基础能源支撑体系,中国电力***中的数据量也在不断的增加,中国的电力***已经成为了世界上最大规模的关系国计民生的专业物联网。为智能电网服务的电力通信网每时每刻都在生成海量的运维数据,并且随着电力通信网的扩大将生产更多运维数据,为了有效发掘利用电力通信网中的海量运维数据,目前普通数据库技术力有未逮,需要采用新的数据处理技术如分布式云计算平台对上述数据进行有效的清洗、处理和分析。Hadoop是一个开源框架,它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据。它的目的是从单一的服务器到上千台机器的扩展,每一个台机都可以提供本地计算和存储。Hadoop大数据计算平台能够对海量数据进行分布式的处理,利用多个节点解决单节点的数据储存、计算局限等,现在已经成为时下最流行的大数据处理平台之一。
Hadoop2.0中引入了Yarn架构,它是一个通用的资源调度框架,为上层的服务提供资源管理和调度功能。作业调度技术目前还未处于成熟阶段,现有的FIFO调度算法、公平份额调度算法、计算能力调度算法三种算法都存在一些不足之处。更重要的是,三种调度策略均是在同构环境下较为有效,没有考虑节点的负载均衡条件,在异构环境中节点的处理能力差别很大,会导致***的作业调度性能下降。为了解决电力数据作业调度中的负载均衡问题,引入了LATE调度算法,但在此算法中依然存在着不足。所以,本技术针对负载均衡的LATE算法进行优化,提出了一种改进的LATE作业调度方法。
为了解现有技术的发展状况,对已有的专利和文献进行了检索、比较和分析,筛选出如下与本发明相关度比较高的技术信息:
专利方案1:201410425841.7一种基于负载均衡的推测式Hadoop调度方法,该专利提出一种基于负载均衡的推测式Hadoop调度方法,首先需要判定慢任务,然后选取快节点执行慢任务的备份任务,在执行选定的慢任务的备份任务时保证集群***的负载均衡。提出的所述方法通过设计了合理简单的慢任务确定方法及选取快节点执行备份任务的策略,优化了作业执行性能。这种策略不仅考虑了作业执行性能,也考虑了集群中负载均衡现象。该方法避免了集群负载失衡现象的发生,提高了Hadoop集群整体的性能。
专利方案2:201610609466.0一种Hadoop大数据平台中基于备份任务运行时间估计的调度方法,该专利设计了一种Hadoop大数据平台中基于备份任务运行时间估计的调度方法,属于云计算平台优化技术领域。该方法采用SDN带宽感知能力,建立BWRE备份任务运行时间估计模型,对基于备份任务推测执行机制的备份任务调度方法进行优化;通过为节点任务请求者TTi分配备份任务时加入慢任务的剩余时间与预启动备份任务在该TTi上的估计运行时间之间的对比,增加此备份任务的可信赖程度,即相信这个备份任务能够比原始慢任务更早结束,从而提高备份任务的有效率。该方法这不仅可以缩短作业周转时间,还可以降低无效备份任务带来的***资源浪费。
上述专利方案1的缺陷:该方案判断慢任务的算法使用总的任务时间与任务开始的时间做差值。但是在不同阶段,由于对作业的影响因素不同,资源的需求情况不同,导致作业执行速度产生差异。因此仅仅简单地以平均速度来估计任务的剩余完成时间,显然是不符合实际的,所以这个算法并不一定能找到真正的慢任务,有可能造成错误判定慢任务。将任务备份到其他节点上,重复执行之后,甚至要比原来节点执行完毕还要慢。用空间换时间的目的并没有达成,还浪费了其他节点的资源。
上述专利方案2的缺陷:该方案SDN带宽感知能力,建立BWRE备份任务运行时间估计模型。但是感知能力预估还是建立在建模估计的基础之上,而不是根据实时信息进行改变,具有一定的不准确性。并且该方案并没有考虑节点与任务各自的资源类型问题,导致可能会发生CPU资源短缺的节点获取到CPU应用频繁的任务。增加节点的负载,延长任务的处理时间。
发明内容
本发明为克服上述现有技术所述的至少一种缺陷,提供一种基于Hadoop平台的电力数据作业调度方法,为了减少慢任务的出现,Hadoop平台引入了推测式执行机制,并形成了以此为依据的LATE调度算法。推测式执行(SpeculativeExecution)是指在集群环境下运行MapReduce(一种编程模型),为慢任务启动备份任务,让其进行竞争执行,最后取优先完成的任务结果作为最终结果,并杀死另外还没完成的任务,从而一定程度上减少了慢任务带来的计算资源的浪费。
为解决上述技术问题,本发明的技术方案如下:一种基于Hadoop平台的电力数据作业调度方法,包括如下步骤:
S1、提交任务并初始化等待队列;
S2、确定当前任务,判断当前任务的类型,将当前任务分配到步骤S1中相应类型的队列中;
S3、判断节点类型,并从任务队列中取出与节点相应类型的任务;
S4、判断有没有慢任务,如果有慢任务就在另一个节点上备份任务并执行,如果没有慢任务就让其继续执行下去。
进一步地,步骤S1具体包括:
S11、用户在客户端中选取要执行的作业,并将它提交到等待队列W={wi}中,其中wi为等待队列内元素,i=1,2,…,N,其中,N为等待队列内元素总个数;
进一步地,步骤S2具体包括:
S21、从W={wi}中取出当前任务T,计算该任务的输入数据的总量σin和任务的输出数据总量σout;计算当前任务完成时间τfinish,通过公式(σin+σout)/τfinish计算出此时任务的I/O速度;
S22、若此时任务的I/O速度满足大于磁盘I/O速度,即(σin+σout)/τfinish>vI/O时,则判断为I/O密集型的任务,加入I/O密集型队列O={pi},其中,vI/O为磁盘I/O速度,O={pi}为I/O密集型队列,pi为I/O密集型队列内元素,i=1,2,…,M,其中,M为I/O密集型队列内元素总个数;
若此时任务的I/O速度满足小于磁盘I/O速度,即(σin+σout)/τfinish<vI/O时,则判断为CPU密集型的任务,加入CPU密集型队列U={qi}其中,U={qi}为CPU密集型队列,qi为CPU密集型队列内元素,i=1,2,…,L,其中,L为CPU密集型队列内元素总个数。
进一步地,步骤S3具体包括:
S31、获取到磁盘I/O速度vI/O,CPU使用率vCPU,I/O的使用率阈值ΓI/O,CPU使用率的阈值ГCPU;
S32、判断是否满足
如果不满足两个比值小于1,证明该节点是一个负载很大的节点,就放弃它寻找其他节点;
如果满足则说明该节点是一个负载较小的,I/O使用率较小的,适用于I/O密集型任务的节点;
如果满足则说明该节点是一个负载较小的,CPU使用率较小的,适用于CPU密集型任务的节点。
进一步地,步骤S4具体包括:
S41、记录***中运行过的任务总数numT,***启动时间τstart,当前***时间τnow,***总数据输入量***总数据输出量计算***总数据处理量计算任务的平均处理速度
S42、在单位时间(一分钟内)计算数据瞬时处理速度vnow,比较当前任务瞬时速度vnow与任务的平均处理速度vavg。如果vnow≥vavg,那么则此任务不是慢任务,则在此节点继续执行下去;如果vnow<vavg,那么判定此任务为慢任务,并复制到其他节点执行。
与现有技术相比,有益效果是:本发明的基于Hadoop平台的电力数据作业调度方法考虑了实时平台处理速度,并兼顾了任务类型,利用剩余时间算法、资源分类策略,使得Hadoop在调度任务时,节点的平均负载得到有效降低,完成任务的平均速度提高,部分节点的负载压力得到缓解,有效的解决了节点资源负载均衡问题。
附图说明
图1是本发明整体流程图。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明,不能理解为对本专利的限制。
如图1所示,本发明的实例中,设置提交的数据清洗任务T大小为6GB,设置磁盘的I/O速度为10GB/s,CPU使用率阈值为60%,I/O使用率阈值为14GB/s,平均完成任务时间为0.3s作为示例数据。
S11、用户在客户端中选取要执行的作业T=6GB并将它提交到W={wi}中。转至步骤S12。
S12、等待作业类型的判断,转至步骤S21。
S21、从W={wi}中取出任务T=6GB,假设该任务的输入数据的总量σin=4GB和任务的输出数据总量σout=2GB。假设当前任务完成时间τfinish=0.5s,通过公式(σin+σout)/τfinish计算出此时任务的I/O速度为12GB/s。转至步骤S22。
S22设此时磁盘I/O速度为10GB/s,12GB/s>10GB/s,即满足(σin+σout)/τfinish>vI/O那么此任务T满足为I/O密集型的任务。把它加入I/O密集型队列O={pi}。转至步骤S31。
S31、获取到磁盘I/O速度vI/O=10GB/s,CPU使用率vCPU=50%,I/O的使用率阈值ΓI/O=14GB/s,CPU使用率的阈值ΓCPU=60%。转至步骤S34。
S34、满足则说明该节点是一个负载较小的,I/O使用率较小的。适用于I/O密集型任务的节点。转至S41。
S41、假设***中运行过的所有的任务数目为100,***启动的时间为10:00:00,当前***时间为10:10:00,***数据输入总量120000GB,***数据输出总量60000GB,计算出数据处理总量60000GB,***中每个任务的平均处理速度vavg=1GB/s。转入S42。
S42、计算出数据处理当下任务的瞬时速度vnow=0.3GB/s。比较当前任务瞬时速度0.3GB/s与平均处理速度1GB/s。0.3GB/s<1GB/s,即瞬时速度小于平均速度,那么判定此任务为慢任务,并复制到其他节点执行。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (5)
1.一种基于Hadoop平台的电力数据作业调度方法,其特征在于,包括如下步骤:
S1、提交任务并初始化等待队列;
S2、确定当前任务,判断当前任务的类型,将当前任务分配到步骤S1中相应类型的队列中;
S3、判断节点类型,并从任务队列中取出与节点相应类型的任务;
S4、判断有没有慢任务,如果有慢任务就在另一个节点上备份任务并执行,如果没有慢任务就让其继续执行下去。
2.根据权利要求1所述的基于Hadoop平台的电力数据作业调度方法,其特征在于,步骤S1具体包括:
S11、用户在客户端中选取要执行的作业,并将它提交到等待队列W={wi}中,其中wi为等待队列内元素,i=1,2,…,N,其中,N为等待队列内元素总个数。
3.根据权利要求2所述的基于Hadoop平台的电力数据作业调度方法,其特征在于,步骤S2具体包括:
S21、从W={wi}中取出当前任务T,计算该任务的输入数据的总量σin和任务的输出数据总量σout;计算当前任务完成时间τfinish,通过公式(σin+σout)/τfinish计算出此时任务的I/O速度;
S22、若此时任务的I/O速度满足大于磁盘I/O速度,即(σin+σout)/τfinish>vI/O时,则判断为I/O密集型的任务,加入I/O密集型队列O={pi},其中,vI/O为磁盘I/O速度,O={pi}为I/O密集型队列,pi为I/O密集型队列内元素,i=1,2,…,M,其中,M为I/O密集型队列内元素总个数;
若此时任务的I/O速度满足小于磁盘I/O速度,即(σin+σout)/τfinish<vI/O时,则判断为CPU密集型的任务,加入CPU密集型队列U={qi}其中,U={qi}为CPU密集型队列,qi为CPU密集型队列内元素,i=1,2,…,L,其中,L为CPU密集型队列内元素总个数。
4.根据权利要求3所述的基于Hadoop平台的电力数据作业调度方法,其特征在于,步骤S3具体包括:
S31、获取到磁盘I/O速度vI/O,CPU使用率vCPU,I/O的使用率阈值ΓI/O,CPU使用率的阈值ΓCPU;
S32、判断是否满足
如果不满足两个比值小于1,证明该节点是一个负载很大的节点,就放弃它寻找其他节点;
如果满足则说明该节点是一个负载较小的,I/O使用率较小的,适用于I/O密集型任务的节点;
如果满足则说明该节点是一个负载较小的,CPU使用率较小的,适用于CPU密集型任务的节点。
5.根据权利要求4所述的基于Hadoop平台的电力数据作业调度方法,其特征在于,步骤S4具体包括:
S41、记录***中运行过的任务总数numT,***启动时间τstart,当前***时间τnow,***总数据输入量***总数据输出量计算***总数据处理量计算任务的平均处理速度
S42、在单位时间(一分钟内)计算数据瞬时处理速度vnow,比较当前任务瞬时速度vnow与任务的平均处理速度vavg,如果vnow≥vavg,那么则此任务不是慢任务,则在此节点继续执行下去;如果vnow<vavg,那么判定此任务为慢任务,并复制到其他节点执行。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710986117.5A CN107656805A (zh) | 2017-10-20 | 2017-10-20 | 一种基于Hadoop平台的电力数据作业调度方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710986117.5A CN107656805A (zh) | 2017-10-20 | 2017-10-20 | 一种基于Hadoop平台的电力数据作业调度方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107656805A true CN107656805A (zh) | 2018-02-02 |
Family
ID=61117982
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710986117.5A Pending CN107656805A (zh) | 2017-10-20 | 2017-10-20 | 一种基于Hadoop平台的电力数据作业调度方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107656805A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108762910A (zh) * | 2018-06-06 | 2018-11-06 | 亚信科技(中国)有限公司 | 一种分布式任务调度方法及*** |
CN111580950A (zh) * | 2020-06-15 | 2020-08-25 | 四川中电启明星信息技术有限公司 | 一种提升云可靠性的自适应反馈资源调度方法 |
CN115904671A (zh) * | 2023-02-20 | 2023-04-04 | 中国华能集团清洁能源技术研究院有限公司 | 一种边缘计算环境下的任务调度方法、装置、设备及介质 |
CN116795534A (zh) * | 2023-03-31 | 2023-09-22 | 国电南瑞科技股份有限公司 | 基于电力物联网负反馈机制的性能动态调整方法及*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103179048A (zh) * | 2011-12-21 | 2013-06-26 | 中国电信股份有限公司 | 云数据中心的主机QoS策略变换方法及*** |
CN103365729A (zh) * | 2013-07-19 | 2013-10-23 | 哈尔滨工业大学深圳研究生院 | 一种基于任务类型的动态MapReduce 调度方法及*** |
CN106502792A (zh) * | 2016-10-20 | 2017-03-15 | 华南理工大学 | 一种面向不同类型负载的多租户资源优化调度方法 |
CN106528189A (zh) * | 2015-09-10 | 2017-03-22 | 阿里巴巴集团控股有限公司 | 一种启动备份任务的方法、装置及电子设备 |
CN106897132A (zh) * | 2017-02-27 | 2017-06-27 | 郑州云海信息技术有限公司 | 一种服务器任务调度的方法以及装置 |
-
2017
- 2017-10-20 CN CN201710986117.5A patent/CN107656805A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103179048A (zh) * | 2011-12-21 | 2013-06-26 | 中国电信股份有限公司 | 云数据中心的主机QoS策略变换方法及*** |
CN103365729A (zh) * | 2013-07-19 | 2013-10-23 | 哈尔滨工业大学深圳研究生院 | 一种基于任务类型的动态MapReduce 调度方法及*** |
CN106528189A (zh) * | 2015-09-10 | 2017-03-22 | 阿里巴巴集团控股有限公司 | 一种启动备份任务的方法、装置及电子设备 |
CN106502792A (zh) * | 2016-10-20 | 2017-03-15 | 华南理工大学 | 一种面向不同类型负载的多租户资源优化调度方法 |
CN106897132A (zh) * | 2017-02-27 | 2017-06-27 | 郑州云海信息技术有限公司 | 一种服务器任务调度的方法以及装置 |
Non-Patent Citations (1)
Title |
---|
ARUN KUMAR K: "CASH:Context Aware Scheduler for Hadoop", 《ICACCI》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108762910A (zh) * | 2018-06-06 | 2018-11-06 | 亚信科技(中国)有限公司 | 一种分布式任务调度方法及*** |
CN111580950A (zh) * | 2020-06-15 | 2020-08-25 | 四川中电启明星信息技术有限公司 | 一种提升云可靠性的自适应反馈资源调度方法 |
CN115904671A (zh) * | 2023-02-20 | 2023-04-04 | 中国华能集团清洁能源技术研究院有限公司 | 一种边缘计算环境下的任务调度方法、装置、设备及介质 |
CN116795534A (zh) * | 2023-03-31 | 2023-09-22 | 国电南瑞科技股份有限公司 | 基于电力物联网负反馈机制的性能动态调整方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104317658B (zh) | 一种基于MapReduce的负载自适应任务调度方法 | |
CN109324875B (zh) | 一种基于强化学习的数据中心服务器功耗管理与优化方法 | |
CN110096349A (zh) | 一种基于集群节点负载状态预测的作业调度方法 | |
CN107656805A (zh) | 一种基于Hadoop平台的电力数据作业调度方法 | |
WO2017167025A1 (zh) | 一种实现任务调度的方法、装置及计算机存储介质 | |
CN107992353B (zh) | 一种基于最小迁移量的容器动态迁移方法及*** | |
CN104657221A (zh) | 一种云计算中基于任务分类的多队列错峰调度模型及方法 | |
CN104065745A (zh) | 云计算动态资源调度***和方法 | |
CN103401939A (zh) | 一种采用混合调度策略的负载均衡方法 | |
CN108121312B (zh) | 基于一体化水电管控平台的arv负载均衡***及方法 | |
CN113515351A (zh) | 一种基于能耗与QoS协同优化的资源调度实现方法 | |
CN108196935A (zh) | 一种面向云计算的虚拟机节能迁移方法 | |
CN105740059B (zh) | 一种面向可分割任务的粒子群调度方法 | |
CN114938372B (zh) | 一种基于联邦学习的微网群请求动态迁移调度方法及装置 | |
CN107070965B (zh) | 一种虚拟化容器资源下的多工作流资源供给方法 | |
Mazidi et al. | An autonomic decision tree‐based and deadline‐constraint resource provisioning in cloud applications | |
Natarajan | Parallel queue scheduling in dynamic cloud environment using backfilling algorithm | |
Dubey et al. | QoS driven task scheduling in cloud computing | |
CN108958919A (zh) | 一种云计算中有期限约束的多dag任务调度费用公平性评估模型 | |
Kousalya et al. | Hybrid algorithm based on genetic algorithm and PSO for task scheduling in cloud computing environment | |
CN111580950A (zh) | 一种提升云可靠性的自适应反馈资源调度方法 | |
Yuan et al. | A DRL-Based Container Placement Scheme with Auxiliary Tasks. | |
CN108563497A (zh) | 一种高效的多维度算法调度方法、任务服务器 | |
Chen et al. | M-DRL: Deep reinforcement learning based coflow traffic scheduler with MLFQ threshold adaption | |
Wang et al. | Efficient and fair: Information-agnostic online coflow scheduling by combining limited multiplexing with drl |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180202 |
|
RJ01 | Rejection of invention patent application after publication |