CN106354553A - 一种大数据***中基于资源估算的任务调度方法及装置 - Google Patents
一种大数据***中基于资源估算的任务调度方法及装置 Download PDFInfo
- Publication number
- CN106354553A CN106354553A CN201510411512.1A CN201510411512A CN106354553A CN 106354553 A CN106354553 A CN 106354553A CN 201510411512 A CN201510411512 A CN 201510411512A CN 106354553 A CN106354553 A CN 106354553A
- Authority
- CN
- China
- Prior art keywords
- task
- resource
- data block
- list
- task list
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种大数据***中基于资源估算的任务调度方法，所述方法包括：对接收的任务进行资源估算，并将所述任务加入任务列表；对当前的***空闲资源进行估算，并依据任务列表中的任务所需的资源总量与当前的***空闲资源的大小关系对所述任务列表中的任务进行调度。本发明还同时公开了一种大数据***中基于资源估算的任务调度装置。
Description
技术领域
本发明涉及任务规划和调度技术领域，尤其涉及一种大数据***中基于资源估算的任务调度方法及装置。
背景技术
大数据***具备存储数据量大、结构复杂、运行的任务繁多，任务处理的数据量大、任务间具有复杂的依赖关系等特点。大数据***在计算和存储等方面的能力都非常强大，但就一个具体的大数据***而言，在一定时期内，无论其时间资源还是存储资源都已确定，因此，只有合理地对***中的任务进调度，让任务协调地执行，才能让***有限的资源充分发挥其作用，实现大数据***的真正价值。
完整的任务调度过程至少要包括任务资源估算及任务执行规划两部分，但由于大数据***数据量的庞大和任务繁杂，目前尚无有效的方法实现资源估算，实际工作中，一般都放弃对任务资源估算；在任务执行规划方面，通常采用基于控制流的原理来实现，该方法在任务规模较小的情况具有一定的可操作性，但是随着任务数量的增加、任务依赖关系变得复杂，不仅效率下降而且实现难度非常大。
综上所述，提供一种基于资源估算的任务调度方案，能够实现对任务资源的估算，准确、高效的完成任务规划调度，已成为亟待解决的问题。
发明内容
有鉴于此，本发明实施例期望提供一种大数据***中基于资源估算的任务调度方法及装置，能够实现对任务资源的估算，准确、高效的完成任务规划调度，且实现简单、可靠性高。
为达到上述目的，本发明实施例的技术方案是这样实现的：
本发明实施例提供了一种大数据***中基于资源估算的任务调度方法，所述方法包括：
对接收的任务进行资源估算，并将所述任务加入任务列表；
对当前的***空闲资源进行估算，并依据任务列表中的任务所需的资源总量与当前的***空闲资源的大小关系对所述任务列表中的任务进行调度。
上述方案中，所述对接收的任务进行资源估算包括：
获取所述接收的任务的数据源信息，确定获取的数据源的规模满足第一条件时，从所述数据源包含的数据块中选取N个数据块作为估算任务的数据源，运行所述估算任务并记录所述估算任务消耗的资源，依据所述估算任务消耗的资源估算所述接收的任务所需的资源；其中，N为正整数。
上述方案中，所述从所述数据源包含的数据块中选取N个数据块作为估算任务的数据源，包括：
对所述数据源包含的数据块进行排序，随机选取一个数据块作为第一数据块，然后每隔个数据块选取一个数据块，直到选取N个数据块为止；其中，M为所述数据源包含的数据块个数，M为正整数。
上述方案中，所述依据任务列表中的任务所需的资源总量与当前的***空闲资源的大小关系对所述任务列表中的任务进行调度包括：
确定任务列表中的任务所需的资源总量不大于当前的***空闲资源时，启动所述任务列表中所有任务；
确定任务列表中的任务所需的资源总量大于当前的***空闲资源时，依据任务列表中任务的优先级依次启动所述任务列表中的任务，并对优先级相同的任务，优先启动资源占用较少的任务。
上述方案中，所述依据任务列表中任务的优先级依次启动所述任务列表中的任务包括：
依据任务列表中任务的优先级依次对所述任务列表中的任务进行资源占用申请，并依据任务的优先级依次启动资源占用申请成功的任务。
本发明实施例还提供了一种大数据***中基于资源估算的任务调度装置，所述装置包括：处理模块及调度模块；其中，
所述处理模块，用于对接收的任务进行资源估算，并将所述任务加入任务列表；
所述调度模块，用于对当前的***空闲资源进行估算，并依据任务列表中的任务所需的资源总量与当前的***空闲资源的大小关系对所述任务列表中的任务进行调度。
上述方案中，所述处理模块，具体用于获取所述接收的任务的数据源信息，确定获取的数据源的规模满足第一条件时，从所述数据源包含的数据块中选取N个数据块作为估算任务的数据源，运行所述估算任务并记录所述估算任务消耗的资源，依据所述估算任务消耗的资源估算所述接收的任务所需资源；其中，N为正整数。
上述方案中，所述处理模块，具体用于对所述数据源包含的数据块进行排序，随机选取一个数据块作为第一数据块，然后每隔个数据块选取一个数据块，直到选取N个数据块为止；其中，M为所述数据源包含的数据块个数，M为正整数。
上述方案中，所述调度模块，具体用于确定任务列表中的任务所需的资源总量不大于当前的***空闲资源时，启动所述任务列表中所有任务；
确定任务列表中的任务所需的资源总量大于当前的***空闲资源时，依据任务列表中任务的优先级依次启动所述任务列表中的任务，并对优先级相同的任务，优先启动资源占用较少的任务。
上述方案中，所述调度模块，具体用于依据任务列表中任务的优先级依次对所述任务列表中的任务进行资源占用申请，并依据任务的优先级依次启动资源占用申请成功的任务。
本发明实施例所提供的大数据***中基于资源估算的任务调度方法及装置，对接收的任务进行资源估算，并将所述任务加入任务列表；对当前的***空闲资源进行估算，并依据任务列表中的任务所需的资源总量与当前的***空闲资源的大小关系对所述任务列表中的任务进行调度；如此，能够实现对任务资源的估算，准确、高效的完成任务规划调度，且实现简单、可靠性高。
附图说明
图1为本发明实施例一大数据***中基于资源估算的任务调度方法流程示意图；
图2为本发明实施例二大数据***中基于资源估算的任务调度方法流程示意图；
图3为本发明实施例大数据***中基于资源估算的任务调度装置组成结构示意图。
具体实施方式
大数据***的存储策略为尽可能的随机的均匀分布于集群的各个节点，通常对任务规划与调度主要基于两个方面：运行该任务所需要的时间成本和存储成本；在***环境不变的情况下，时间成本和存储成本主要取决于任务处理的数据量、计算逻辑和算法时间复杂度，而对于一个既定任务，处理逻辑和算法复杂度都是确定的，因此，该任务的时间成本与存储成本与任务处理的数据量呈正比。
在本发明实施例中，对接收的任务进行资源估算，并将所述任务加入任务列表；对当前的***空闲资源进行估算，并依据任务列表中的任务所需的资源总量与当前的***空闲资源的大小关系对所述任务列表中的任务进行调度。
图1为本发明实施例一大数据***中基于资源估算的任务调度方法流程示意图，如图1所示，本发明实施例大数据***中基于资源估算的任务调度方法包括：
步骤101：对接收的任务进行资源估算，并将所述任务加入任务列表；
这里，所述任务可以为数据处理任务，所述接收的任务可以为一个或多个；
所述对接收的任务进行资源估算包括：
获取所述接收的任务的数据源信息，确定获取的数据源的规模满足第一条件时，从所述数据源包含的数据块中选取N个数据块作为估算任务的数据源，运行所述估算任务并记录所述估算任务消耗的资源，依据所述估算任务消耗的资源估算所述接收的任务所需资源；其中，N为正整数；
这里，所述资源包括：时间资源和存储资源。
进一步的，所述获取所述接收的任务的数据源信息包括：
解析所述接收的任务的任务描述文件，获取所述任务的数据源信息。
进一步的，所述确定获取的数据源的规模满足第一条件包括：
确定获取的数据源包含的数据块总量达到预设的数据块阈值；其中，所述数据块阈值可以依据实际需要进行设定。
进一步的，从所述数据源包含的数据块中选取N个数据块作为估算任务的数据源，包括：
对所述数据源包含的数据块进行排序，随机选取一个数据块作为第一数据块，然后每隔个数据块选取一个数据块，遇到队尾便从头开始计数，直到选取N个数据块为止；其中，M为所述数据源包含的数据块个数，M为正整数；
这里，所述对所述数据源包含的数据块进行排序可以为对所述数据源包含的数据块随机进行排序，或者，依据设定的规则对所述数据源包含的数据块进行排序；
所述的值为不超过的最大整数；例如：则的值为5；
所述N的大小可以依据需要进行设定，优选的，N的值为即N的取值为不超过的最大整数；
在本实施例中，每隔个数据块选取一个数据块，即：使用等间隔的抽样方式，有效的降低了进行资源估算的***误差；而抽样误差部分可以大数定理计算抽样误差率其中Zα/2为可靠性系数，α即置信度，当置信度为95％时，该可靠性系数值为1.96，当置信度为90％时，该可靠性系数值为1.645，置信度越高需要的样本量越多；σ为方差，体现抽样个体值和整体均值之间的偏离程度，抽样数值分布越分散方差越大，需要的采样量越多；n为样本量，样本越多误差越小；
进一步的，所述N的阈值可以依据实际需要进行设定，优选的，N的阈值可以为10。
进一步的，所述运行所述估算任务并记录所述估算任务消耗的资源包括：
对选取的N个数据块分别执行所述接收的任务，采集并记录所述N个数据块从任务提交到任务完成期间的CPU消耗、存储消耗等运行信息。
这里，所述CPU消耗，即运行任务所占用的时间资源，存储消耗也即运行任务所占用的存储资源；CPU消耗属于时间资源，而存储消耗属于存储资源。
进一步的，所述依据所述估算任务消耗的资源估算所述接收的任务所需资源包括：
依据所述估算任务消耗的资源确定选取的N个数据块中每个数据块所需的资源均值，并依据每个数据块所需的资源均值及所述数据源对应的总量数据块确定所述接收的任务所需的资源。
步骤102：对当前的***空闲资源进行估算，并依据任务列表中的任务所需的资源总量与当前的***空闲资源的大小关系对所述任务列表中的任务进行调度；
这里，对当前的***空闲资源进行估算包括：
通过查询***可获得当前的***空闲资源，具体为现有技术，此处不作赘述。
进一步的，所述依据任务列表中的任务所需的资源总量与当前的***空闲资源的大小关系对所述任务列表中的任务进行调度包括：
确定任务列表中的任务所需的资源总量不大于当前的***空闲资源时，启动所述任务列表中所有任务；
确定任务列表中的任务所需的资源总量大于当前的***空闲资源时，依据任务列表中任务的优先级依次启动所述任务列表中的任务，并对优先级相同的任务，优先启动资源占用较少的任务；如此，可以避免大任务阻塞小任务，提高了任务调度效率；这里，所述任务的优先级可以依据实际需要进行设定。
进一步的，所述依据任务列表中任务的优先级依次启动所述任务列表中的任务包括：
依据任务列表中任务的优先级依次对所述任务列表中的任务进行资源占用申请，并依据任务的优先级依次启动资源占用申请成功的任务。
进一步的，所述依据任务列表中任务的优先级依次对所述任务列表中的任务进行资源占用申请，包括：
确定当前的***空闲资源满足当前任务需求时，预分配给所述任务所需的资源量，并从当前的***空闲资源中减去所述任务所需的资源量，确定当前任务资源占用申请成功，直至所述任务列表中的全部任务资源占用申请成功；
确定当前的***空闲资源不满足当前任务需求时，每间隔一定时间判断当前的***空闲资源是否满足当前任务需求，直至确定当前的***空闲资源满足当前任务需求；其中，所述一定时间可以依据实际需要进行设定。
进一步的，本步骤之后，所述方法还包括：反馈所述任务的运行结果；具体包括：将所述任务的运行结果以文件方式输出。
图2为本发明实施例二大数据***中基于资源估算的任务调度方法流程示意图；如图2所示，本发明实施例大数据***中基于资源估算的任务调度方法包括：
步骤201：接收用户提交的任务并对所述任务进行资源估算；
这里，所述任务可以为数据处理任务，所述接收的任务可以为一个或多个；
所述对接收的任务进行资源估算包括：
获取所述接收的任务的数据源信息，确定获取的数据源的规模满足第一条件时，从所述数据源包含的数据块中选取N个数据块作为估算任务的数据源，运行所述估算任务并记录所述估算任务消耗的资源，依据所述估算任务消耗的资源估算所述接收的任务所需资源；其中，N为正整数；
这里，所述资源包括：时间资源和存储资源。
进一步的，所述获取所述接收的任务的数据源信息包括：
解析所述接收的任务的任务描述文件，获取所述任务的数据源信息。
进一步的，所述确定获取的数据源的规模满足第一条件包括：
确定获取的数据源包含的数据块总量达到预设的数据块阈值；其中，所述数据块阈值可以依据实际需要进行设定。
进一步的，从所述数据源包含的数据块中选取N个数据块作为估算任务的数据源，包括：
对所述数据源包含的数据块进行排序，随机选取一个数据块作为第一数据块，然后每隔个数据块选取一个数据块，遇到队尾便从头开始计数，直到选取N个数据块为止；其中，M为所述数据源包含的数据块个数，M为正整数；
这里，所述对所述数据源包含的数据块进行排序可以为对所述数据源包含的数据块随机进行排序，或者，依据设定的规则对所述数据源包含的数据块进行排序；
所述N的大小可以依据需要进行设定，优选的，N的值为即N的取值为不超过的最大整数；
在本实施例中，每隔个数据块选取一个数据块，即使用等间隔的抽样方式，有效的降低了进行资源估算的***误差；而抽样误差部分可以大数定理计算抽样误差率其中Zα/2为可靠性系数，α即置信度，当置信度为95％时，该可靠性系数值为1.96，当置信度为90％时，该可靠性系数值为1.645，置信度越高需要的样本量越多。σ为方差，体现抽样个体值和整体均值之间的偏离程度，抽样数值分布越分散方差越大，需要的采样量越多；n为样本量，样本越多误差越小。
进一步的，所述N的阈值可以依据实际需要进行设定，优选的，N的阈值可以为10。
进一步的，所述运行所述估算任务并记录所述估算任务消耗的资源包括：
对选取的N个数据块分别执行所述接收的任务，采集并记录所述N个数据块从任务提交到任务完成期间的CPU消耗、存储消耗等运行信息。
进一步的，所述依据所述估算任务消耗的资源估算所述接收的任务所需资源包括：
依据所述估算任务消耗的资源确定选取的N个数据块中每个数据块所需的资源均值，并依据每个数据块所需的资源均值及所述数据源对应的总量数据块确定所述接收的任务所需的资源。
步骤202：将所述任务加入任务列表并对当前的***空闲资源进行估算；
这里，所述对当前的***空闲资源进行估算包括：
所述CPU消耗，即运行任务所占用的时间资源，存储消耗也即运行任务所占用的存储资源；CPU消耗属于时间资源，而存储消耗属于存储资源
步骤203：判断任务列表中的任务所需的资源总量是否超过当前的***空闲资源，如果超过，执行步骤204；如果没超过，执行步骤206；
步骤204：依据任务列表中任务的优先级依次启动所述任务列表中的任务，并对优先级相同的任务，优先启动资源占用较少的任务；
这里，所述任务的优先级可以依据实际需要进行设定；
所述依据任务列表中任务的优先级依次启动所述任务列表中的任务包括：
依据任务列表中任务的优先级依次对所述任务列表中的任务进行资源占用申请，并依据任务的优先级依次启动资源占用申请成功的任务。
进一步的，所述依据任务列表中任务的优先级依次对所述任务列表中的任务进行资源占用申请，包括：
确定当前的***空闲资源满足当前任务需求时，预分配给所述任务所需的资源量，并从当前的***空闲资源中减去所述任务所需的资源量，确定当前任务资源占用申请成功，直至所述任务列表中的全部任务资源占用申请成功；
确定当前的***空闲资源不满足当前任务需求时，每间隔一定时间判断当前的***空闲资源是否满足当前任务需求，直至确定当前的***空闲资源满足当前任务需求；其中，所述一定时间可以依据实际需要进行设定。
步骤205：启动所述任务列表中所有任务。
步骤206：反馈任务运行结果，结束本次处理流程；
这里，所述反馈任务运行结果包括：将所述任务的运行结果以文件方式输出。
图3为本发明实施例大数据***中基于资源估算的任务调度装置组成结构示意图；如图3所示，本发明实施例大数据***中基于资源估算的任务调度装置组成包括：处理模块31及调度模块32；其中，
所述处理模块31，用于对接收的任务进行资源估算，并将所述任务加入任务列表；
所述调度模块32，用于对当前的***空闲资源进行估算，并依据任务列表中的任务所需的资源总量与当前的***空闲资源的大小关系对所述任务列表中的任务进行调度。
进一步的，所述处理模块31对接收的任务进行资源估算包括：
所述处理模块31获取所述接收的任务的数据源信息，确定获取的数据源的规模满足第一条件时，从所述数据源包含的数据块中选取N个数据块作为估算任务的数据源，运行所述估算任务并记录所述估算任务消耗的资源，依据所述估算任务消耗的资源估算所述接收的任务所需资源；其中，N为正整数；
这里，所述资源包括：时间资源和存储资源。
进一步的，所述处理模块31获取所述接收的任务的数据源信息包括：
所述处理模块31解析所述接收的任务的任务描述文件，获取所述任务的数据源信息。
进一步的，所述处理模块31确定获取的数据源的规模满足第一条件包括：
所述处理模块31确定获取的数据源包含的数据块总量达到预设的数据块阈值；其中，所述数据块阈值可以依据实际需要进行设定。
进一步的，所述处理模块31从所述数据源包含的数据块中选取N个数据块作为估算任务的数据源，包括：
所述处理模块31对所述数据源包含的数据块进行排序，随机选取一个数据块作为第一数据块，然后每隔个数据块选取一个数据块，遇到队尾便从头开始计数，直到选取N个数据块为止；其中，M为所述数据源包含的数据块个数，M为正整数；
这里，所述对所述数据源包含的数据块进行排序可以为对所述数据源包含的数据块随机进行排序，或者，依据设定的规则对所述数据源包含的数据块进行排序；
所述N的大小可以依据需要进行设定，优选的，N的值为即N的取值为不超过的最大整数；
在本实施例中，每隔个数据块选取一个数据块，即使用等间隔的抽样方式，有效的降低了进行资源估算的***误差；而抽样误差部分可以大数定理计算抽样误差率其中Zα/2为可靠性系数，α即置信度，当置信度为95％时，该可靠性系数值为1.96，当置信度为90％时，该可靠性系数值为1.645，置信度越高需要的样本量越多。σ为方差，体现抽样个体值和整体均值之间的偏离程度，抽样数值分布越分散方差越大，需要的采样量越多；n为样本量，样本越多误差越小；
进一步的，所述N的阈值可以依据实际需要进行设定，优选的，N的阈值可以为10。
进一步的，所述处理模块31运行所述估算任务并记录所述估算任务消耗的资源包括：
所述处理模块31对选取的N个数据块分别执行所述接收的任务，采集并记录所述N个数据块从任务提交到任务完成期间的CPU消耗、存储消耗等运行信息。
进一步的，所述处理模块31依据所述估算任务消耗的资源估算所述接收的任务所需资源包括：
所述处理模块31依据所述估算任务消耗的资源确定选取的N个数据块中每个数据块所需的资源均值，并依据每个数据块所需的资源均值及所述数据源对应的总量数据块确定所述接收的任务所需的资源。
进一步的，所述调度模块32对当前的***空闲资源进行估算包括：
所述调度模块32通过查询***可获得当前的***空闲资源，具体为现有技术，此处不作赘述。
进一步的，所述调度模块32依据任务列表中的任务所需的资源总量与当前的***空闲资源的大小关系对所述任务列表中的任务进行调度包括：
所述调度模块32确定任务列表中的任务所需的资源总量不大于当前的***空闲资源时，启动所述任务列表中所有任务；
确定任务列表中的任务所需的资源总量大于当前的***空闲资源时，依据任务列表中任务的优先级依次启动所述任务列表中的任务，并对优先级相同的任务，优先启动资源占用较少的任务；如此，可以避免大任务阻塞小任务，提高了任务调度效率；这里，所述任务的优先级可以依据实际需要进行设定。
进一步的，所述调度模块32依据任务列表中任务的优先级依次启动所述任务列表中的任务包括：
所述调度模块32依据任务列表中任务的优先级依次对所述任务列表中的任务进行资源占用申请，并依据任务的优先级依次启动资源占用申请成功的任务。
进一步的，所述调度模块32依据任务列表中任务的优先级依次对所述任务列表中的任务进行资源占用申请，包括：
所述调度模块32确定当前的***空闲资源满足当前任务需求时，预分配给所述任务所需的资源量，并从当前的***空闲资源中减去所述任务所需的资源量，确定当前任务资源占用申请成功，直至所述任务列表中的全部任务资源占用申请成功；
确定当前的***空闲资源不满足当前任务需求时，每间隔一定时间判断当前的***空闲资源是否满足当前任务需求，直至确定当前的***空闲资源满足当前任务需求；其中，所述一定时间可以依据实际需要进行设定。
进一步的，所述装置还包括反馈模块33，用于反馈所述任务的运行结果。
在本发明实施例中，所述处理模块31、调度模块32及反馈模块33均可由服务器中的中央处理器(CPU，Central Processing Unit)或数字信号处理器(DSP，Digital Signal Processor)、或现场可编程门阵列(FPGA，Field Programmable GateArray)实现。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。
Claims (10)
1.一种大数据***中基于资源估算的任务调度方法，其特征在于，所述方法包括：
对接收的任务进行资源估算，并将所述任务加入任务列表；
对当前的***空闲资源进行估算，并依据任务列表中的任务所需的资源总量与当前的***空闲资源的大小关系对所述任务列表中的任务进行调度。
2.根据权利要求1所述方法，其特征在于，所述对接收的任务进行资源估算包括：
获取所述接收的任务的数据源信息，确定获取的数据源的规模满足第一条件时，从所述数据源包含的数据块中选取N个数据块作为估算任务的数据源，运行所述估算任务并记录所述估算任务消耗的资源，依据所述估算任务消耗的资源估算所述接收的任务所需的资源；其中，N为正整数。
3.根据权利要求2所述方法，其特征在于，所述从所述数据源包含的数据块中选取N个数据块作为估算任务的数据源，包括：
对所述数据源包含的数据块进行排序，随机选取一个数据块作为第一数据块，然后每隔个数据块选取一个数据块，直到选取N个数据块为止；其中，M为所述数据源包含的数据块个数，M为正整数。
4.根据权利要求1或2所述方法，其特征在于，所述依据任务列表中的任务所需的资源总量与当前的***空闲资源的大小关系对所述任务列表中的任务进行调度包括：
确定任务列表中的任务所需的资源总量不大于当前的***空闲资源时，启动所述任务列表中所有任务；
确定任务列表中的任务所需的资源总量大于当前的***空闲资源时，依据任务列表中任务的优先级依次启动所述任务列表中的任务，并对优先级相同的任务，优先启动资源占用较少的任务。
5.根据权利要求4所述方法，其特征在于，所述依据任务列表中任务的优先级依次启动所述任务列表中的任务包括：
依据任务列表中任务的优先级依次对所述任务列表中的任务进行资源占用申请，并依据任务的优先级依次启动资源占用申请成功的任务。
6.一种大数据***中基于资源估算的任务调度装置，其特征在于，所述装置包括：处理模块及调度模块；其中，
所述处理模块，用于对接收的任务进行资源估算，并将所述任务加入任务列表；
所述调度模块，用于对当前的***空闲资源进行估算，并依据任务列表中的任务所需的资源总量与当前的***空闲资源的大小关系对所述任务列表中的任务进行调度。
7.根据权利要求6所述装置，其特征在于，所述处理模块，具体用于获取所述接收的任务的数据源信息，确定获取的数据源的规模满足第一条件时，从所述数据源包含的数据块中选取N个数据块作为估算任务的数据源，运行所述估算任务并记录所述估算任务消耗的资源，依据所述估算任务消耗的资源估算所述接收的任务所需资源；其中，N为正整数。
8.根据权利要求7所述装置，其特征在于，所述处理模块，具体用于对所述数据源包含的数据块进行排序，随机选取一个数据块作为第一数据块，然后每隔个数据块选取一个数据块，直到选取N个数据块为止；其中，M为所述数据源包含的数据块个数，M为正整数。
9.根据权利要求6或7所述装置，其特征在于，所述调度模块，具体用于确定任务列表中的任务所需的资源总量不大于当前的***空闲资源时，启动所述任务列表中所有任务；
确定任务列表中的任务所需的资源总量大于当前的***空闲资源时，依据任务列表中任务的优先级依次启动所述任务列表中的任务，并对优先级相同的任务，优先启动资源占用较少的任务。
10.根据权利要求9所述装置，其特征在于，所述调度模块，具体用于依据任务列表中任务的优先级依次对所述任务列表中的任务进行资源占用申请，并依据任务的优先级依次启动资源占用申请成功的任务。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510411512.1A CN106354553A (zh) | 2015-07-14 | 2015-07-14 | 一种大数据***中基于资源估算的任务调度方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510411512.1A CN106354553A (zh) | 2015-07-14 | 2015-07-14 | 一种大数据***中基于资源估算的任务调度方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106354553A true CN106354553A (zh) | 2017-01-25 |
Family
ID=57842180
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510411512.1A Pending CN106354553A (zh) | 2015-07-14 | 2015-07-14 | 一种大数据***中基于资源估算的任务调度方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106354553A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106991012A (zh) * | 2017-04-11 | 2017-07-28 | 广东浪潮大数据研究有限公司 | 一种计算机资源压缩预留和动态调度方法 |
| CN108733473A (zh) * | 2018-05-11 | 2018-11-02 | 北京航天发射技术研究所 | 一种基于VxWorks的定位瞄准一体化设备任务的控制方法 |
| CN112540854A (zh) * | 2020-12-28 | 2021-03-23 | 上海体素信息科技有限公司 | 在限定硬件资源条件下的深度学习模型调度部署方法及*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020078028A1 (en) * | 2000-12-18 | 2002-06-20 | Trevalon Inc. | Network server |
| CN1879086A (zh) * | 2003-11-13 | 2006-12-13 | 皇家飞利浦电子股份有限公司 | 用于限制预算使用的方法和*** |
| CN102111337A (zh) * | 2011-03-14 | 2011-06-29 | 浪潮(北京)电子信息产业有限公司 | 任务调度方法和*** |
| CN103699445A (zh) * | 2013-12-19 | 2014-04-02 | 北京奇艺世纪科技有限公司 | 一种任务调度方法、装置及*** |
| CN104520815A (zh) * | 2014-03-17 | 2015-04-15 | 华为技术有限公司 | 一种任务调度的方法、装置及设备 |
-
2015
- 2015-07-14 CN CN201510411512.1A patent/CN106354553A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020078028A1 (en) * | 2000-12-18 | 2002-06-20 | Trevalon Inc. | Network server |
| CN1879086A (zh) * | 2003-11-13 | 2006-12-13 | 皇家飞利浦电子股份有限公司 | 用于限制预算使用的方法和*** |
| CN102111337A (zh) * | 2011-03-14 | 2011-06-29 | 浪潮(北京)电子信息产业有限公司 | 任务调度方法和*** |
| CN103699445A (zh) * | 2013-12-19 | 2014-04-02 | 北京奇艺世纪科技有限公司 | 一种任务调度方法、装置及*** |
| CN104520815A (zh) * | 2014-03-17 | 2015-04-15 | 华为技术有限公司 | 一种任务调度的方法、装置及设备 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106991012A (zh) * | 2017-04-11 | 2017-07-28 | 广东浪潮大数据研究有限公司 | 一种计算机资源压缩预留和动态调度方法 |
| CN108733473A (zh) * | 2018-05-11 | 2018-11-02 | 北京航天发射技术研究所 | 一种基于VxWorks的定位瞄准一体化设备任务的控制方法 |
| CN112540854A (zh) * | 2020-12-28 | 2021-03-23 | 上海体素信息科技有限公司 | 在限定硬件资源条件下的深度学习模型调度部署方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105718479B (zh) | 跨idc大数据处理架构下执行策略生成方法、装置 | |
| CN107688492B (zh) | 资源的控制方法、装置和集群资源管理*** | |
| US8812639B2 (en) | Job managing device, job managing method and job managing program | |
| CN105718317B (zh) | 一种任务调度方法及装置 | |
| CN106209682B (zh) | 业务调度方法、装置和*** | |
| Reda et al. | Rein: Taming tail latency in key-value stores via multiget scheduling | |
| CN107656813A (zh) | 一种负载调度的方法、装置及终端 | |
| CN110389816B (zh) | 用于资源调度的方法、装置以及计算机可读介质 | |
| WO2016106516A1 (zh) | 在分布式资源***中用户请求的调度方法和装置 | |
| CN111176419A (zh) | 估计在分布式计算机***的多个节点上运行的作业的功率性能的方法和装置 | |
| CN103595651B (zh) | 基于分布式的数据流处理方法和*** | |
| CN109597685A (zh) | 任务分配方法、装置和服务器 | |
| CN103763378A (zh) | 基于分布式流式计算***的任务处理方法、***及节点 | |
| CN111104211A (zh) | 基于任务依赖的计算卸载方法、***、设备及介质 | |
| CN103309738A (zh) | 用户作业调度方法及装置 | |
| CN103401939A (zh) | 一种采用混合调度策略的负载均衡方法 | |
| CN105320570B (zh) | 资源管理方法和*** | |
| CN109582448A (zh) | 一种面向关键度和时效性的边缘计算任务调度方法 | |
| CN108270805B (zh) | 用于数据处理的资源分配方法及装置 | |
| CN108132840B (zh) | 一种分布式***中的资源调度方法及装置 | |
| CN105389206A (zh) | 一种云计算数据中心虚拟机资源快速配置方法 | |
| CN103257896B (zh) | 一种云环境下的Max-D作业调度方法 | |
| CN109032769A (zh) | 一种基于容器的持续集成ci任务处理方法及装置 | |
| CN106293947B (zh) | 虚拟化云环境下gpu-cpu混合资源分配***和方法 | |
| CN109039929A (zh) | 业务调度方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170125 |