CN110502323B - 一种云计算任务实时调度方法 - Google Patents
一种云计算任务实时调度方法 Download PDFInfo
- Publication number
- CN110502323B CN110502323B CN201910651299.XA CN201910651299A CN110502323B CN 110502323 B CN110502323 B CN 110502323B CN 201910651299 A CN201910651299 A CN 201910651299A CN 110502323 B CN110502323 B CN 110502323B
- Authority
- CN
- China
- Prior art keywords
- server
- task
- server node
- time
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
Abstract
本发明涉及计算机技术领域,具体涉及一种云计算任务实时调度方法,包括以下步骤:A)建立服务器节点列表S,建立通信耗时表T,负荷率表L;B)确定服务器节点算力Csi,设置性能评分Psi;C)根据新任务的数据量以及任务类型,确定其所需的总算力Ca;D)选取服务器节点集合D;E)将新任务划分为若干个子任务,分配给集合D中的服务器节点,使子任务基本同时完成;F)更新服务器性能评分Psi,重复步骤C‑E。本发明的实质性效果是:通过合理分配实时性任务以及非实时性任务的服务器算力资源分配,保障实时性任务的可用服务器资源,提高实时性任务的响应速率。
Description
技术领域
本发明涉及计算机技术领域,具体涉及一种云计算任务实时调度方法。
背景技术
云计算(Cloud Computing)代表了细颗粒状分布式并行技术的发展前沿,是近年来得到快速发展的一种崭新的计算模式,是若干新计算技术的统称;其代表了一种基于Internet的大规模分布式的计算模式。信息物理融合***(Cyber Physical System,缩写为CPS)是通过3C(Computation,Communication,Control)技术将计算、网络和物理环境融为一体的多维复杂***,通过多技术有机融合,实现大型工程***的实时感知、动态控制和信息服务。CPS是建立在云计算技术的基础上的,CPS的实时性能,由云计算的实时性能决定。因而需要研制提高云计算任务运行实时性的技术方案。
如中国专利CN108228683A,公开日2018年6月29日,一种基于云计算的分布式智能电网数据分析平台,该平台包括数据归集层、云计算层、中间层和表现层。各下层向对应的上层提供信息和数据服务。其中数据归集层采集分布式的电能数据并对数据进行预处理,向云计算层提供原始的电能数据;云计算层引入Hadoop平台对电能数据执行用户用电分析、电能分布统计等数据分析任务;中间层包括Web的后台程序、连通Web应用和Hadoop的通信服务模块WebHadoopServer、结果数据的存储与加载模块;表现层实现了电能数据分析结果的呈现。其利用云计算平台在处理海量数据的优势以提高电能数据分析任务的效率。但其没有云计算层的任务分发方向进行针对性的改进,难以保证分析任务执行的效率。
发明内容
本发明要解决的技术问题是:目前缺乏提高云计算***实时响应性能的任务调度方法。提出了一种提高实时任务的响应速率的云计算任务实时调度方法。
为解决上述技术问题,本发明所采取的技术方案为:一种云计算任务实时调度方法,包括以下步骤:A)建立服务器节点列表S={s1,s2,…,sn},n为服务器节点数量,建立服务器节点单位数据量的通信耗时表T={T1,T2,…,Tn},服务器节点当前任务率表L={L1,L2,…,Ln};B)根据服务器节点si的硬件配置确定其算力Csi,为每台服务器设置性能评分Psi,并置Psi初值为1;C)当出现新任务时,根据新任务的数据量以及新任务的类型,确定其所需的总算力Ca;D)从服务器节点列表S选取服务器节点集合D,使∑i∈DCsi≥k*Ca,其中k为宽松系数,k≥1;E)将新任务划分为若干个子任务,根据通信耗时、服务器算力及其性能评分Psi,分配给集合D中的服务器节点,使子任务基本同时完成;F)根据步骤E中,各个服务器节点完成子任务的情况,更新服务器性能评分Psi,重复步骤C-E,当服务器节点的任务率均超过设定阈值Lm时,暂停新任务的分配。通过使用由性能评分Psi修正后的算力,作为分配任务量的依据,能够提高任务数据分配的平衡度,提高电力CPS的实时性。
作为优选,步骤C中,新任务所需的总算力Ca的确定方法为:若新任务为实时任务,则其中,QK为新任务的数据量,Tm为预先设定的实时任务的最大延迟时间,k为调整系数,当任务率表L的均值小于第一阈值时,k∈(0.3,0.6],当任务率表L的均值大于第一阈值但小于第二阈值时,k∈(0.6,0.8],当任务率表L的均值大于第二阈值时,k∈(0.8,1;若新任务为非实时任务,则将预设的算力常量值Cas或其m倍,作为非实时任务所需总算力,使Td表示一日,根据当前时段的历史实时任务所需总算力的均值Cam,将服务器节点列表S总算力减Cam后的值的一半作m*Cas的上限。通过合理分配实时性任务以及非实时性任务的服务器算力资源分配,保障实时性任务的可用服务器资源,提高实时性任务的响应速率。
作为优选,步骤E中,给集合D中的服务器节点分配子任务的方法为:使服务器节点si分配的子任务的数据量,是基本以为权重的分配,其中i∈D。通过使用由性能评分Psi修正后的算力Csi,同时考虑传输耗时,作为任务分配权重,使得分配的子任务能够基本在同一时间完成并传回结果,从而提高电力CPS的实时性。
作为优选,选取服务器节点集合D的方法包括以下步骤:D1)找出服务器节点列表S中任务率Li最低的服务器节点si,加入到集合D中;D2)从服务器节点si开始,按照列表S的顺序,跳过任务率Li超过阈值的服务器节点,依次选取服务器节点加入到集合D中,直到集合D内的服务器节点的算力满足要求。当负荷率Li低于设定阈值的的全部服务器节点算力仍不满足要求时,将集合D外的服务器节点按照负荷率Li由小到大的顺序排列,按该顺序依次添加服务器节点进集合D。
作为优选,步骤F中,更新服务器性能评分Psi的方法包括以下步骤:F11)随机选取任一服务器节点sj,j∈[1,n],作为参照服务器节点,Psj=1;F12)服务器节点sj每次子任务执行完成后,计算服务器节点sj的当前单位算力执行效率其中Q为本次子任务的数据量,t为本次子任务执行的时间;F13)除服务器节点sj以外的服务器节点si每次子任务执行完成后,计算服务器节点si的当前单位算力服务器性能评分由于任务的分配是按照比例进行分配的,因而性能的评估也是相互间的比例,不需要绝对值。
作为优选,在执行步骤C-E时,还同时以下步骤:G1)以周期或预设触发条件触发,复制随机的一个子任务,将两个相同的子任务分配给不同的服务器节点sk、sl,其中k,l∈[1,n];G2)当服务器节点sk、sl均将该两个相同的子任务执行完成后,比对执行结果是否一致,若结果不一致则从新分配两个该相同的子任务到另外两个服务器节点,直到两个同时分配到该两个相同子任务的服务器节点执行结果相同,以一致的执行结果作为该子任务的执行结果;G3)统计最近若干次执行结果的比对结果,若一致率低于设定阈值,则发出告警。
作为优选,步骤G2还包括以下步骤:当服务器节点sk、sl均将该两个相同的子任务执行完成后,获得服务器节点sk、sl当前单位算力执行效率随机选取任一服务器节点sj,作为参照服务器节点,Psj=1;计算获得及在后续的时间Tk内,锁定Psk及Psl的值。本优选方案在使用任务复制机制,验证执行结果是否正确的同时,获得了参与验证的两个服务器节点的性能比的更准确的值,因而锁定其性能评分能够提高锁定期间的性能评估的准确度。
作为优选,步骤B中,硬件配置确定服务器节点si的算力Csi方法为:B1)测试若干个随机服务器节点si,i∈d,d为测试服务器节点集合,使其CPU及内存保持满载运行一段时间,计算服务器节点si在单位之间内处理的任务数据量,作为其算力Csi;B2)计算服务器节点si,i∈d的CPU算力均值vm1、内存容量均值vm2、内存读写速度均值vm3、硬盘读写速度均值vm4以及算力均值算力Csm;B3)其余服务器节点sj,j∈[1,n]且
本发明的实质性效果是:通过合理分配实时性任务以及非实时性任务的服务器算力资源分配,保障实时性任务的可用服务器资源,提高实时性任务的响应速率;通过使用由性能评分Psi修正后的算力Csi,同时考虑传输耗时,作为任务分配权重,使得分配的子任务能够基本在同一时间完成并传回结果,从而提高电力CPS的实时性。
附图说明
图1为实施例一流程框图。
具体实施方式
下面通过具体实施例,并结合附图,对本发明的具体实施方式作进一步具体说明。
实施例一:
一种云计算任务实时调度方法,如图1所示,本实施例包括以下步骤:A)建立服务器节点列表S={s1,s2,…,sn},n为服务器节点数量,建立服务器节点单位数据量的通信耗时表T={T1,T2,…,Tn},服务器节点当前任务率表L={L1,L2,…,Ln}。
B)根据服务器节点si的硬件配置确定其算力Csi,具体为:B1)测试若干个随机服务器节点si,i∈d,d为测试服务器节点集合,使其CPU及内存保持满载运行一段时间,计算服务器节点si在单位之间内处理的任务数据量,作为其算力Csi;B2)计算服务器节点si,i∈d的CPU算力均值vm1、内存容量均值vm2、内存读写速度均值vm3、硬盘读写速度均值vm4以及算力均值算力Csm;B3)其余服务器节点sj,j∈[1,n]且 为每台服务器设置性能评分Psi,并置Psi初值为1,
C)当出现新任务时,根据新任务的数据量以及新任务的类型,确定其所需的总算力Ca,具体包括:若新任务为实时任务,则其中,QK为新任务的数据量,Tm为设定实时任务的最大延迟时间,k为调整系数,当任务率表L的均值小于第一阈值时,k∈(0.3,0.6],当任务率表L的均值大于第一阈值但小于第二阈值时,k∈(0.6,0.8],当任务率表L的均值大于第二阈值时,k∈(0.8,1;若新任务为非实时任务,则将预设的算力常量值Cas或其m倍,作为非实时任务所需总算力,使Td表示一日,根据当前时段的历史实时任务所需总算力的均值Cam,将服务器节点列表S总算力减Cam后的值的一半作m*Cas的上限。
D)从服务器节点列表S选取服务器节点集合D,使∑i∈DCsi≥k*Ca,其中k为宽松系数,k≥1,具体包括以下步骤:D1)找出服务器节点列表S中任务率Li最低的服务器节点si,加入到集合D中;D2)从服务器节点si开始,按照列表S的顺序,跳过任务率Li超过阈值的服务器节点,阈值为集合S中服务器节点的任务率均值Lm,依次选取服务器节点加入到集合D中,直到集合D内的服务器节点的算力满足要求。当负荷率Li低于设定阈值的的全部服务器节点算力仍不满足要求时,将集合D外的服务器节点按照负荷率Li由小到大的顺序排列,按该顺序依次添加服务器节点进集合D。
F)根据步骤E中,各个服务器节点完成子任务的情况,更新服务器性能评分Psi,重复步骤C-E,当服务器节点的任务率均超过设定阈值Lm时,暂停新任务的分配。通过使用由性能评分Psi修正后的算力,作为分配任务量的依据,能够提高任务数据分配的平衡度,提高电力CPS的实时性。
步骤F中,更新服务器性能评分Psi的方法包括以下步骤:F11)随机选取任一服务器节点sj,j∈[1,n],作为参照服务器节点,Psj=1;F12)服务器节点sj每次子任务执行完成后,计算服务器节点sj的当前单位算力执行效率其中Q为本次子任务的数据量,t为本次子任务执行的时间;F13)除服务器节点sj以外的服务器节点si每次子任务执行完成后,计算服务器节点si的当前单位算力服务器性能评分
在执行步骤C-E时,还同时以下步骤:G1)以周期或预设触发条件触发,复制随机的一个子任务,将两个相同的子任务分配给不同的服务器节点sk、sl,其中k,l∈[1,n];G2)当服务器节点sk、sl均将该两个相同的子任务执行完成后,比对执行结果是否一致,若结果不一致则从新分配两个该相同的子任务到另外两个服务器节点,直到两个同时分配到该两个相同子任务的服务器节点执行结果相同,以一致的执行结果作为该子任务的执行结果;G3)统计最近若干次执行结果的比对结果,若一致率低于设定阈值,则发出告警。
以上所述的实施例只是本发明的一种较佳的方案,并非对本发明作任何形式上的限制,在不超出权利要求所记载的技术方案的前提下还有其它的变体及改型。
Claims (7)
1.一种云计算任务实时调度方法,其特征在于,
包括以下步骤:
A)建立服务器节点列表S={s1,s2,…,sn},n为服务器节点数量,建立服务器节点单位数据量的通信耗时表T={T1,T2,…,Tn},服务器节点当前任务率表L={L1,L2,…Ln};
B)根据服务器节点si的硬件配置确定其算力Csi,为每台服务器设置性能评分Psi,并置Psi初值为1;
C)当出现新任务时,根据新任务的数据量以及新任务的类型,确定其所需的总算力Ca;
D)从服务器节点列表S选取服务器节点集合D,使∑i∈DCsi≥k2*Ca,其中k2为宽松系数,k2≥1;
E)将新任务划分为若干个子任务,根据通信耗时、服务器算力及其性能评分Psi,分配给集合D中的服务器节点,使子任务基本同时完成;
F)根据步骤E中,各个服务器节点完成子任务的情况,更新服务器性能评分Psi,重复步骤C-E,当服务器节点的任务率均超过设定阈值Lm时,暂停新任务的分配;
在执行步骤C-E时,还同时以下步骤:
G1)以周期或预设触发条件触发,复制随机的一个子任务,将两个相同的子任务分配给不同的服务器节点sk、sl,其中k,l∈[1,n];
G2)当服务器节点sk、sl均将该两个相同的子任务执行完成后,比对执行结果是否一致,若结果不一致则从新分配两个该相同的子任务到另外两个服务器节点,直到两个同时分配到该两个相同子任务的服务器节点执行结果相同,以一致的执行结果作为该子任务的执行结果;
G3)统计最近若干次执行结果的比对结果,若一致率低于设定阈值,则发出告警。
2.根据权利要求1所述的一种云计算任务实时调度方法,其特征在于,
步骤C中,新任务所需的总算力Ca的确定方法为:
若新任务为实时任务,则其中,QK为新任务的数据量,Tm为设定实时任务的最大延迟时间,k1为调整系数,当任务率表L的均值小于第一阈值时,k1∈(0.3,0.6],当任务率表L的均值大于第一阈值但小于第二阈值时,k1∈(0.6,0.8],当任务率表L的均值大于第二阈值时,k1∈(0.8,1);
3.根据权利要求1或2所述的一种云计算任务实时调度方法,其特征在于,
选取服务器节点集合D的方法包括以下步骤:
D1)找出服务器节点列表S中任务率Li最低的服务器节点si,加入到集合D中;
D2)从服务器节点si开始,按照列表S的顺序,跳过任务率Li超过阈值的服务器节点,依次选取服务器节点加入到集合D中,直到集合D内的服务器节点的算力满足要求。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910651299.XA CN110502323B (zh) | 2019-07-18 | 2019-07-18 | 一种云计算任务实时调度方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910651299.XA CN110502323B (zh) | 2019-07-18 | 2019-07-18 | 一种云计算任务实时调度方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110502323A CN110502323A (zh) | 2019-11-26 |
CN110502323B true CN110502323B (zh) | 2022-02-18 |
Family
ID=68585351
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910651299.XA Active CN110502323B (zh) | 2019-07-18 | 2019-07-18 | 一种云计算任务实时调度方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110502323B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210208952A1 (en) * | 2020-01-02 | 2021-07-08 | International Business Machines Corporation | Implementing workloads in a multicloud environment |
GB2592609B (en) * | 2020-03-03 | 2023-05-31 | Imagination Tech Ltd | Resource allocation in a parallel processing system |
CN111869303B (zh) * | 2020-06-03 | 2023-10-17 | 北京小米移动软件有限公司 | 一种资源调度的方法、装置、通信设备及存储介质 |
CN112203057B (zh) * | 2020-10-10 | 2022-06-03 | 重庆紫光华山智安科技有限公司 | 解析任务创建方法、装置、服务器和计算机可读存储介质 |
CN112685177A (zh) * | 2020-12-25 | 2021-04-20 | 联想(北京)有限公司 | 一种服务器节点的任务分配方法及装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106095582A (zh) * | 2016-06-17 | 2016-11-09 | 四川新环佳科技发展有限公司 | 云平台的任务执行方法 |
CN106126323A (zh) * | 2016-06-17 | 2016-11-16 | 四川新环佳科技发展有限公司 | 基于云平台的实时任务调度方法 |
CN107807853A (zh) * | 2017-10-16 | 2018-03-16 | 北京航空航天大学 | 一种基于机器实时负载和任务状态机的节点筛选方法及装置 |
CN109167835A (zh) * | 2018-09-13 | 2019-01-08 | 重庆邮电大学 | 一种基于kubernetes的物理资源调度方法及*** |
CN109783224A (zh) * | 2018-12-10 | 2019-05-21 | 平安科技(深圳)有限公司 | 基于负载调配的任务分配方法、装置及终端设备 |
CN109873868A (zh) * | 2019-03-01 | 2019-06-11 | 深圳市网心科技有限公司 | 一种计算能力共享方法、***及相关设备 |
CN110968424A (zh) * | 2019-09-12 | 2020-04-07 | 广东浪潮大数据研究有限公司 | 一种基于K8s的资源调度方法、装置和存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9128763B2 (en) * | 2011-08-23 | 2015-09-08 | Infosys Limited | System and method for job scheduling optimization |
CN103823718B (zh) * | 2014-02-24 | 2017-02-15 | 南京邮电大学 | 一种面向绿色云计算的资源配置方法 |
US10242209B2 (en) * | 2015-08-27 | 2019-03-26 | International Business Machines Corporation | Task scheduling on hybrid clouds using anonymization |
CN106331150B (zh) * | 2016-09-18 | 2018-05-18 | 北京百度网讯科技有限公司 | 用于调度云服务器的方法和装置 |
-
2019
- 2019-07-18 CN CN201910651299.XA patent/CN110502323B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106095582A (zh) * | 2016-06-17 | 2016-11-09 | 四川新环佳科技发展有限公司 | 云平台的任务执行方法 |
CN106126323A (zh) * | 2016-06-17 | 2016-11-16 | 四川新环佳科技发展有限公司 | 基于云平台的实时任务调度方法 |
CN107807853A (zh) * | 2017-10-16 | 2018-03-16 | 北京航空航天大学 | 一种基于机器实时负载和任务状态机的节点筛选方法及装置 |
CN109167835A (zh) * | 2018-09-13 | 2019-01-08 | 重庆邮电大学 | 一种基于kubernetes的物理资源调度方法及*** |
CN109783224A (zh) * | 2018-12-10 | 2019-05-21 | 平安科技(深圳)有限公司 | 基于负载调配的任务分配方法、装置及终端设备 |
CN109873868A (zh) * | 2019-03-01 | 2019-06-11 | 深圳市网心科技有限公司 | 一种计算能力共享方法、***及相关设备 |
CN110968424A (zh) * | 2019-09-12 | 2020-04-07 | 广东浪潮大数据研究有限公司 | 一种基于K8s的资源调度方法、装置和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110502323A (zh) | 2019-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110502323B (zh) | 一种云计算任务实时调度方法 | |
EP3525096B1 (en) | Resource load balancing control method and cluster scheduler | |
Trushkowsky et al. | The {SCADS} Director: Scaling a Distributed Storage System Under Stringent Performance Requirements | |
CN105550323B (zh) | 一种分布式数据库负载均衡预测方法和预测分析器 | |
CN111124689B (zh) | 一种集群中容器资源动态分配方法 | |
CN108845874B (zh) | 资源的动态分配方法及服务器 | |
CN106790726A (zh) | 一种基于Docker云平台的优先级队列动态反馈负载均衡资源调度方法 | |
CN109194584A (zh) | 一种流量监控方法、装置、计算机设备及存储介质 | |
CN104902001B (zh) | 基于操作***虚拟化的Web请求负载均衡方法 | |
CN111381950A (zh) | 一种面向边缘计算环境基于多副本的任务调度方法和*** | |
CN106385468A (zh) | Web集群的可预测动态负载均衡方法 | |
CN106502792A (zh) | 一种面向不同类型负载的多租户资源优化调度方法 | |
CN110209494A (zh) | 一种面向大数据的分布式任务调度方法及Hadoop集群 | |
CN106528270A (zh) | 一种基于OpenStack云平台的虚拟机自动迁移方法及*** | |
CN111831415B (zh) | 一种多队列多集群的任务调度方法及*** | |
Tong et al. | DDQN-TS: A novel bi-objective intelligent scheduling algorithm in the cloud environment | |
CN107562537A (zh) | 一种基于万有引力搜索的云计算任务调度方法 | |
US20220300323A1 (en) | Job Scheduling Method and Job Scheduling Apparatus | |
CN109358964B (zh) | 一种服务器集群资源调度方法 | |
CN110928676B (zh) | 一种基于性能评估的电力cps负荷分配方法 | |
Ibrahim et al. | Improvement of job completion time in data-intensive cloud computing applications | |
CN113568759B (zh) | 一种基于云计算的大数据处理方法及其*** | |
US9934268B2 (en) | Providing consistent tenant experiences for multi-tenant databases | |
CN110928683B (zh) | 基于两类密集型虚拟机的边缘计算资源分配方法 | |
CN115016889A (zh) | 一种用于云计算的虚拟机优化调度方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |