CN106326003A - 一种作业调度和计算资源分配方法 - Google Patents
一种作业调度和计算资源分配方法 Download PDFInfo
- Publication number
- CN106326003A CN106326003A CN201610659854.XA CN201610659854A CN106326003A CN 106326003 A CN106326003 A CN 106326003A CN 201610659854 A CN201610659854 A CN 201610659854A CN 106326003 A CN106326003 A CN 106326003A
- Authority
- CN
- China
- Prior art keywords
- job
- user
- scheduling
- resource
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000013468 resource allocation Methods 0.000 title claims abstract description 15
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 238000007726 management method Methods 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims description 2
- 229910017435 S2 In Inorganic materials 0.000 claims 1
- 230000032683 aging Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种作业调度和计算资源分配方法,属于计算机技术领域。该方法包括以下步骤:S1:根据用户业务需求为用户分配计算资源;S2:根据用户业务需求建立作业队列,记录每个作业的优先级、作业提交时间、作业要求计算完毕时间信息,并为每个作业分配相应的计算资源;S3:计算各队列中各个作业预计运行时间长度;S4:以用户为调度范围,采用作业的优先级、预计运行时间长度为依据进行作业调度;S5:以作业包含的任务类型和关系为依据进行任务调度;S6:计算完毕,释放计算资源。该方法能够避免优先级低的业务不能及时调度的问题,保障所有作业在规定的时间能够完成计算;提作业调度的公平性和时效性。
Description
技术领域
本发明属于计算机技术领域,涉及一种作业调度和计算资源分配方法。
背景技术
在超算服务业务开展过程中,主要使用FIFO(First In First Out,先入先出)调度机制分配任务,将所有的作业统一提交到一个队列中,并按照提交的先后顺序依次运行队列中的作业。但随着超算用户、业务量、业务类型的增多,传统的FIFO调度机制已经不能满足目前超算业务调度的需求。
现有作业调度方法中,通常只考虑业务的优先级,导致优先级低的业务不能及时调度,降低了作业调度的公平性和时效性。
现有资源分配方法中,通常只考虑将所有资源作为一个统一的计算资源池,导致计算资源划分不灵活、使用效率低。
发明内容
有鉴于此,本发明的目的在于提供一种作业调度和计算资源分配方法,该方法能够避免优先级低的业务不能及时调度的问题,保障所有作业在规定的时间能够完成计算,提作业调度的公平性和时效性。
为达到上述目的,本发明提供如下技术方案:
一种作业调度和计算资源分配方法,该方法包括以下步骤:
S1:根据用户业务需求为用户分配计算资源;
S2:根据用户业务需求建立作业队列,记录每个作业的优先级、作业提交时间、作业要求计算完毕时间信息,并为每个作业分配相应的计算资源;
S3:计算各队列中各个作业预计运行时间长度;
S4:以用户为调度范围,采用作业的优先级、预计运行时间长度为依据进行作业调度;
S5:以作业包含的任务类型和关系为依据进行任务调度;
S6:计算完毕,释放计算资源。
进一步,在步骤S1中,根据每个用户的业务需求,为其分配分配计算资源Ki,i=1,2,…n,i为用户编号;管理节点将分配给节点i的计算资源分成两部份:一部份为Ki*P,作为该用户实际的计算资源,另外一部份为Ki*(1-P),作为该用户的预留计算资源,其中,P为该用户实际使用的计算资源与该用户分配的总计算资源的比值,0≤P≤1。
进一步,在步骤S2中,以用户为单位,调度***根据用户业务量的大小及业务类型,建立N(N≥1)个作业队列;以用户为单位,对每个用户在超算平台上运行的所有作业建立一张作业信息表,每个作业对应的相关信息作为该信息表中的一条记录;该表中记录的内容包括:作业对应的计算资源、作业优先级、作业提交时间、作业要求计算完毕时间、预计完成时间长度、当前是否占用计算资源信息。
进一步,在步骤S3中,根据信息表中各个作业的记录信息,计算各个作业预计完成时间长度,作业预计完成时间长度T的方法如下:
其中,S为当前作业的计算量,S’为历史作业的计算量,T0为历史作业的运行时间长度;计算完毕后,将本用户各个作业的预计完成时间长度T添加对应的作业信息表中。
进一步,在步骤S4中,以用户为单位,对作业优先级进行排序,综合考虑作业优先级和作业预计完成时间、运行速度等信息进行作业调度;针对本用户,以每个作业的预计完成时间长度为依据,判断队列中作业的处理顺序,处理机制如下:
1)作业要求计算完毕的时间-当前时间>作业的预计完成时间长度,则不作处理,按作业优先级顺序进行调度;
2)作业要求计算完毕时间-当前时间≤作业的预计完成时间长度,立即进行作业调度,将该作业分配到本用户的预留计算资源进行调度;如果本用户的预留计算资源不够用,则申请***独立的计算资源进行调度。
进一步,在步骤S5中,在任务调度过程中,需要判断该作业的所有任务的关系,如果任务间是串行关系,则将任务按FIFO顺序,分配该作业对应的全部资源进行计算;如果任务间是并行关系,需确定该并行关系的任务数M,然后将该作业的计算资源等分成M份,每个任务对应其中1份计算资源,最后进行并行计算。
进一步,在步骤S6中,当作业使用资源完毕,设置作业信息表中占用资源信息为空,即释放资源,并更新作业信息表中相关信息。
本发明的有益效果在于:本发明提供的方法能够避免优先级低的业务不能及时调度的问题,保障所有作业在规定的时间能够完成计算;提作业调度的公平性和时效性。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚,本发明提供如下附图进行说明:
图1为作业调度和资源分配流程示意图;
图2为作业调度和资源分配原理图;
图3为作业调度流程示意图;
图4为任务调度流程示意图。
具体实施方式
下面将结合附图,对本发明的优选实施例进行详细的描述。
图1为作业调度和资源分配流程示意图,如图所示,在图中,参数配置被细分为6个步骤:
步骤S1,根据用户需求为用户分配计算资源;
具体地,根据每个用户的业务需求,为其分配分配计算资源Ki(i=1,2,…n,i为用户编号);管理节点将分配给节点i的计算资源分成两部分:一部份为Ki*P,作为该用户实际的计算资源,另外一部份为Ki*(1-P),作为该用户的预留计算资源,其中,P为该用户实际使用的计算资源与该用户分配的总计算资源的比值,0≤P≤1。
另外,为了保证整个***超算业务调度的顺利进行,在为每个用户分配预留资源外,***还将预留一部份资源备用。具体作业调度和资源分配原理如图2所示。
步骤S2,根据用户需求建立作业队列,并为每个作业分配计算资源,确定作业优先级、记录作业提交时间。
另外,需要针对每个用户建立一张作业信息表,用于记录该用户所有作业的计算资源、作业优先级、记录作业提交时间、作业要求计算完毕时间、当前是否占用计算资源等信息;
作业信息表示例如下:
步骤S3,计算各队列中各个作业预计运行时间:
其中,S为当前作业的计算量,S’为历史作业的计算量,T0为历史作业的运行时间。
步骤S4,进行作业调度;作业调度示意如图3所示。
步骤S41,以用户为单位,对本用户的所有作业优先级进行排序;
步骤S42,对于每个用户,以每个作业的预计完成时间长度为依据,判断是否立即处理;计算作业要求计算完毕时间-当前时间的值,并判断作业要求计算完毕时间-当前时间与作业的预计完成时间长度的关系;
步骤S43,如果作业要求计算完毕时间-当前时间>作业的预计完成时间长度,则不作处理,按作业优先级顺序进行调度;
步骤S44,如果作业要求计算完毕时间-当前时间≤作业的预计完成时间长度,立即进行作业调度,将该作业分配到本用户的预留计算资源进行调度;如果本用户的预留计算资源不够用,则申请***独立的计算资源进行调度。
步骤S5,以该作业的所有任务的关系为依据进行任务调度;图4为任务调度流程示意图。
步骤S51,在任务调度过程中,首先判断该作业的所有任务的类型和关系;
步骤S52,如果任务间是串行关系,则将任务按FIFO顺序,分配该作业的全部资源进行计算;
步骤S53,如果任务间是并行关系,则需要确定该并行关系的任务数M,然后将该作业的计算资源分成M份,每个任务对应其中1份计算资源,最后进行并行计算。
步骤S6,计算资源使用完毕,释放计算资源。
当作业使用资源完毕,更新作业信息表中占用资源信息为空,即释放资源,并更新作业信息表中相关信息。
最后说明的是,以上优选实施例仅用以说明本发明的技术方案而非限制,尽管通过上述优选实施例已经对本发明进行了详细的描述,但本领域技术人员应当理解,可以在形式上和细节上对其作出各种各样的改变,而不偏离本发明权利要求书所限定的范围。
Claims (7)
1.一种作业调度和计算资源分配方法,其特征在于:该方法包括以下步骤:
S1:根据用户业务需求为用户分配计算资源;
S2:根据用户业务需求建立作业队列,记录每个作业的优先级、作业提交时间、作业要求计算完毕时间信息,并为每个作业分配相应的计算资源;
S3:计算各队列中各个作业预计运行时间长度;
S4:以用户为调度范围,采用作业的优先级、预计运行时间长度为依据进行作业调度;
S5:以作业包含的任务类型和关系为依据进行任务调度;
S6:计算完毕,释放计算资源。
2.根据权利要求1所述的一种作业调度和计算资源分配方法,其特征在于:在步骤S1中,根据每个用户的业务需求,为其分配分配计算资源Ki,i=1,2,…n,i为用户编号;管理节点将分配给节点i的计算资源分成两部份:一部份为Ki*P,作为该用户实际的计算资源,另外一部份为Ki*(1-P),作为该用户的预留计算资源,其中,P为该用户实际使用的计算资源与该用户分配的总计算资源的比值,0≤P≤1。
3.根据权利要求1所述的一种作业调度和计算资源分配方法,其特征在于:在步骤S2中,以用户为单位,调度***根据用户业务量的大小及业务类型,建立N(N≥1)个作业队列;以用户为单位,对每个用户在超算平台上运行的所有作业建立一张作业信息表,每个作业对应的相关信息作为该信息表中的一条记录;该表中记录的内容包括:作业对应的计算资源、作业优先级、作业提交时间、作业要求计算完毕时间、预计完成时间长度、当前是否占用计算资源信息。
4.根据权利要求1所述的一种作业调度和计算资源分配方法,其特征在于:在步骤S3中,根据信息表中各个作业的记录信息,计算各个作业预计完成时间长度,作业预计完成时间长度T的方法如下:
其中,S为当前作业的计算量,S’为历史作业的计算量,T0为历史作业的运行时间长度;计算完毕后,将本用户各个作业的预计完成时间长度T添加对应的作业信息表中。
5.根据权利要求1所述的一种作业调度和计算资源分配方法,其特征在于:在步骤S4中,以用户为单位,对作业优先级进行排序,综合考虑作业优先级和作业预计完成时间、运行速度等信息进行作业调度;针对本用户,以每个作业的预计完成时间长度为依据,判断队列中作业的处理顺序,处理机制如下:
1)作业要求计算完毕的时间-当前时间>作业的预计完成时间长度,则不作处理,按作业优先级顺序进行调度;
2)作业要求计算完毕时间-当前时间≤作业的预计完成时间长度,立即进行作业调度,将该作业分配到本用户的预留计算资源进行调度;如果本用户的预留计算资源不够用,则申请***独立的计算资源进行调度。
6.根据权利要求1所述的一种作业调度和计算资源分配方法,其特征在于:在步骤S5中,在任务调度过程中,需要判断该作业的所有任务的关系,如果任务间是串行关系,则将任务按FIFO顺序,分配该作业对应的全部资源进行计算;如果任务间是并行关系,需确定该并行关系的任务数M,然后将该作业的计算资源等分成M份,每个任务对应其中1份计算资源,最后进行并行计算。
7.根据权利要求1所述的一种作业调度和计算资源分配方法,其特征在于:在步骤S6中,当作业使用资源完毕,设置作业信息表中占用资源信息为空,即释放资源,并更新作业信息表中相关信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610659854.XA CN106326003B (zh) | 2016-08-11 | 2016-08-11 | 一种作业调度和计算资源分配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610659854.XA CN106326003B (zh) | 2016-08-11 | 2016-08-11 | 一种作业调度和计算资源分配方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106326003A true CN106326003A (zh) | 2017-01-11 |
CN106326003B CN106326003B (zh) | 2019-06-28 |
Family
ID=57739869
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610659854.XA Expired - Fee Related CN106326003B (zh) | 2016-08-11 | 2016-08-11 | 一种作业调度和计算资源分配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106326003B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107391590A (zh) * | 2017-06-27 | 2017-11-24 | 北京金山安全软件有限公司 | 一种主题列表的更新方法、装置、电子设备及存储介质 |
CN109144694A (zh) * | 2018-08-09 | 2019-01-04 | 北京城市网邻信息技术有限公司 | 信息***配置方法、装置、设备及计算机可读存储介质 |
CN110297701A (zh) * | 2019-05-16 | 2019-10-01 | 平安科技(深圳)有限公司 | 数据处理作业调度方法、装置、计算机设备及存储介质 |
CN112488492A (zh) * | 2020-11-26 | 2021-03-12 | 中科星通(廊坊)信息技术有限公司 | 一种基于优先级的遥感产品生产调度方法 |
CN112860421A (zh) * | 2019-11-28 | 2021-05-28 | 伊姆西Ip控股有限责任公司 | 用于作业处理的方法、设备和计算机程序产品 |
CN113228574A (zh) * | 2019-02-28 | 2021-08-06 | 西门子瑞士有限公司 | 计算资源调度方法、调度器、物联网***和计算机可读介质 |
CN113946430A (zh) * | 2021-12-20 | 2022-01-18 | 北京并行科技股份有限公司 | 一种作业调度方法、计算设备及存储介质 |
CN115328640A (zh) * | 2022-10-17 | 2022-11-11 | 广州数说故事信息科技有限公司 | 一种任务调度方法、装置、***及计算机可读存储介质 |
CN115495224A (zh) * | 2022-11-18 | 2022-12-20 | 天河超级计算淮海分中心 | 基于优先级的超算节点使用方法、电子设备和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004013235A (ja) * | 2002-06-03 | 2004-01-15 | Nec Corp | ジョブスケジュール変更支援装置 |
CN101309208A (zh) * | 2008-06-21 | 2008-11-19 | 华中科技大学 | 一种适用于网格环境的基于可靠性代价的作业调度*** |
CN104079502A (zh) * | 2014-06-27 | 2014-10-01 | 国家计算机网络与信息安全管理中心 | 一种多用户多队列调度方法 |
-
2016
- 2016-08-11 CN CN201610659854.XA patent/CN106326003B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004013235A (ja) * | 2002-06-03 | 2004-01-15 | Nec Corp | ジョブスケジュール変更支援装置 |
CN101309208A (zh) * | 2008-06-21 | 2008-11-19 | 华中科技大学 | 一种适用于网格环境的基于可靠性代价的作业调度*** |
CN104079502A (zh) * | 2014-06-27 | 2014-10-01 | 国家计算机网络与信息安全管理中心 | 一种多用户多队列调度方法 |
Non-Patent Citations (1)
Title |
---|
张爱科: "基于公平性和负载均衡的云计算任务调度算法", 《计算机应用与软件》 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107391590B (zh) * | 2017-06-27 | 2020-12-18 | 北京金山安全软件有限公司 | 一种主题列表的更新方法、装置、电子设备及存储介质 |
CN107391590A (zh) * | 2017-06-27 | 2017-11-24 | 北京金山安全软件有限公司 | 一种主题列表的更新方法、装置、电子设备及存储介质 |
CN109144694A (zh) * | 2018-08-09 | 2019-01-04 | 北京城市网邻信息技术有限公司 | 信息***配置方法、装置、设备及计算机可读存储介质 |
CN113228574A (zh) * | 2019-02-28 | 2021-08-06 | 西门子瑞士有限公司 | 计算资源调度方法、调度器、物联网***和计算机可读介质 |
CN110297701A (zh) * | 2019-05-16 | 2019-10-01 | 平安科技(深圳)有限公司 | 数据处理作业调度方法、装置、计算机设备及存储介质 |
CN112860421A (zh) * | 2019-11-28 | 2021-05-28 | 伊姆西Ip控股有限责任公司 | 用于作业处理的方法、设备和计算机程序产品 |
US11900155B2 (en) | 2019-11-28 | 2024-02-13 | EMC IP Holding Company LLC | Method, device, and computer program product for job processing |
CN112860421B (zh) * | 2019-11-28 | 2024-05-07 | 伊姆西Ip控股有限责任公司 | 用于作业处理的方法、设备和计算机程序产品 |
CN112488492A (zh) * | 2020-11-26 | 2021-03-12 | 中科星通(廊坊)信息技术有限公司 | 一种基于优先级的遥感产品生产调度方法 |
CN113946430A (zh) * | 2021-12-20 | 2022-01-18 | 北京并行科技股份有限公司 | 一种作业调度方法、计算设备及存储介质 |
CN113946430B (zh) * | 2021-12-20 | 2022-05-06 | 北京并行科技股份有限公司 | 一种作业调度方法、计算设备及存储介质 |
CN115328640A (zh) * | 2022-10-17 | 2022-11-11 | 广州数说故事信息科技有限公司 | 一种任务调度方法、装置、***及计算机可读存储介质 |
CN115495224A (zh) * | 2022-11-18 | 2022-12-20 | 天河超级计算淮海分中心 | 基于优先级的超算节点使用方法、电子设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN106326003B (zh) | 2019-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106326003A (zh) | 一种作业调度和计算资源分配方法 | |
CN106020927B (zh) | 一种云计算***中任务调度与资源配置的通用方法 | |
CN102063336B (zh) | 一种分布式计算多应用功能异步并发调度方法 | |
CN103324525B (zh) | 一种云计算环境下的任务调度方法 | |
Smith‐Daniels et al. | Using a late‐start resource‐constrained project schedule to improve project net present value | |
CN106681835B (zh) | 资源分配的方法和资源管理器 | |
CN103458052B (zh) | 一种基于IaaS云平台的资源调度方法和装置 | |
CN104023042B (zh) | 云平台资源调度方法 | |
Lima et al. | Long-term scheduling of a single-unit multi-product continuous process to manufacture high performance glass | |
CN102799467A (zh) | 一种任务分配的方法及*** | |
CN102243598A (zh) | 分布式数据仓库中的任务调度方法及*** | |
CN104199736A (zh) | 云环境下的数据中心节能方法 | |
CN106991006B (zh) | 支持依赖和时间平衡的云工作流任务聚类方法 | |
CN103823714A (zh) | 一种基于虚拟化下NUMA节点内存QoS的调节方法及装置 | |
CN110308967A (zh) | 一种基于混合云的工作流成本-延迟最优化任务分配方法 | |
CN104731657A (zh) | 一种资源调度方法和*** | |
CN110543352B (zh) | 调度***的任务分配方法及其相关的装置 | |
CN102855293A (zh) | 一种电动汽车及充换电设施***海量数据处理方法 | |
CN103257896B (zh) | 一种云环境下的Max-D作业调度方法 | |
CN108428051A (zh) | 面向大数据平台基于最大化收益的MapReduce作业调度方法及装置 | |
CN102917014A (zh) | 资源调度方法及装置 | |
CN115907332A (zh) | 一种油气井维修任务调度的两层优化方法及装置 | |
CN104156505B (zh) | 一种基于用户行为分析的Hadoop集群作业调度方法及装置 | |
CN105320565A (zh) | 一种针对多种应用软件的计算机资源调度方法 | |
CN110034963A (zh) | 一种应用集群自适应的弹性配置方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190628 |