CN111857983A - 基于分布式数据采集任务调度方法及装置 - Google Patents

基于分布式数据采集任务调度方法及装置 Download PDF

Info

Publication number
CN111857983A
CN111857983A CN202010355882.9A CN202010355882A CN111857983A CN 111857983 A CN111857983 A CN 111857983A CN 202010355882 A CN202010355882 A CN 202010355882A CN 111857983 A CN111857983 A CN 111857983A
Authority
CN
China
Prior art keywords
task
execution
periodically repeated
previous
tasks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010355882.9A
Other languages
English (en)
Other versions
CN111857983B (zh
Inventor
刘春阳
张旭
王鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Blue Light Wit Network Technology Co ltd
National Computer Network and Information Security Management Center
Original Assignee
Beihang University
National Computer Network and Information Security Management Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University, National Computer Network and Information Security Management Center filed Critical Beihang University
Priority to CN202010355882.9A priority Critical patent/CN111857983B/zh
Publication of CN111857983A publication Critical patent/CN111857983A/zh
Application granted granted Critical
Publication of CN111857983B publication Critical patent/CN111857983B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Multi Processors (AREA)

Abstract

本发明公开了一种基于分布式数据采集任务调度方法，其包括：获取待处理任务；对待处理任务分类得到多个周期性重复任务；记录每个周期性重复任务在前n次执行中每次执行的起止时间点；计算每个周期性重复任务在前n次执行中的平均间隔时长
Figure DDA0002473423380000011
每个周期性重复任务下一次执行的起始时间点，确定多个周期性重复任务的下一次执行顺序；记录每个任务执行器的负载；向多个任务执行器分别发送任务请求信号，并接受各个任务执行器的反馈信号；向接受到的第一个反馈信号对应的任务执行器发送需要最先执行的周期性重复任务。本发明还公开了一种基于分布式数据采集任务调度装置。本发明能够使得分布式***执行任务时取得最优效果，运行更加稳健。

Description

基于分布式数据采集任务调度方法及装置
技术领域
本发明涉及计算机信息技术领域。更具体地说，本发明涉及一种基于分布式数据采集任务调度方法及装置。
背景技术
近年来随着计算机***的不断壮大，分布式***作为解决当下计算机问题的必要手段备受关注，而所述分布式***是多个处理机通过通信线路互联而构成的松散耦合的***，每个处理机相当于一台个人计算机，其受到分布式***的统一调度进行分工合理的协作。所以如何进行任务调度对于发挥分布式***整体性能，保持***负载均衡、稳健、高可用等方面至关重要。目前通用的调度算法多为解决某一类特定问题，比如轮转法、加权法、散列法、最少连接法、最低缺失法、最快响应法，同时单一算法易导致***震荡，造成节点间任务不均，从而干扰正常的***负载平衡，使分布式***无法高效工作。
发明内容
本发明的一个目的是解决至少上述问题，并提供至少后面将说明的优点。
本发明还有一个目的是提供一种基于分布式数据采集任务调度方法及装置，其通过对任务进行分类定级，结合任务执行器的状态动态分配任务，达到分布式***执行任务时可取得最优效果的目的，使分布式***运行更加稳健。
为了实现根据本发明的这些目的和其它优点，提供了一种基于分布式数据采集任务调度方法，其应用于包含多个任务执行器的分布式***，所述方法包括：
获取待处理任务；
对待处理任务分类得到多个周期性重复任务；
记录每个周期性重复任务在前n次执行中每次执行的起止时间点；
根据每个周期性重复任务在前n次执行中每次执行的起止时间点计算每个周期性重复任务在前n次执行中每相邻两次执行的间隔时长ti，再根据每个周期性重复任务在前n次执行中每相邻两次执行的间隔时长ti计算每个周期性重复任务在前n次执行中的平均间隔时长
Figure RE-GDA0002627629270000011
根据每个周期性重复任务在最近一次执行的终止时间点和平均间隔时长
Figure RE-GDA0002627629270000012
算得每个周期性重复任务下一次执行的起始时间点，确定多个周期性重复任务的下一次执行顺序；
记录每个任务执行器的负载，所述负载包括CPU使用率、内存使用率和IO使用率；
向多个任务执行器分别发送任务请求信号，并接受各个任务执行器的反馈信号，所述反馈信号是各个任务执行器在接收到任务请求信号后根据自身负载进行延时后发出的，不同负载对应不同延时时长；向接受到的第一个反馈信号对应的任务执行器发送多个周期性重复任务中需要最先执行的周期性重复任务。
优选的是，还包括：
根据每个周期性重复任务在前n次执行中每次执行的起止时间点计算每个周期性重复任务在前n次执行中每次的执行时长tj，再根据每个周期性重复任务在前n次执行中每次执行的执行时长tj计算每个周期性重复任务在前n次执行中的平均执行时长
Figure RE-GDA0002627629270000022
根据周期性重复任务所分配的任务执行器的负载和该周期性重复任务平均执行时长
Figure RE-GDA0002627629270000023
确定是否需要将该周期性重复任务拆分成多个子任务；
将需要拆分的周期性重复任务拆分成多个子任务，并将多个子任务进行重新调度。
优选的是，还包括：
对待处理任务分类得到多个一次性任务；
将多个一次性任务按轮转调度算法或最快响应调度算法分别分配给多个任务执行器。
本发明还提供一种基于分布式数据采集任务调度装置，其应用于包含多个任务执行器的分布式***，所述装置包括：
任务采集模块，用于获取待处理任务；
任务分类模块，用于对待处理任务分类得到多个周期性重复任务；
任务状态采集模块，用于记录每个周期性重复任务在前n次执行中每次执行的起止时间点；
任务优先级分类模块，用于根据每个周期性重复任务在前n次执行中每次执行的起止时间点计算每个周期性重复任务在前n次执行中每相邻两次执行的间隔时长ti，再根据每个周期性重复任务在前n次执行中每相邻两次执行的间隔时长ti计算每个周期性重复任务在前n次执行中的平均间隔时长
Figure RE-GDA0002627629270000021
根据每个周期性重复任务在最近一次执行的终止时间点和平均间隔时长
Figure RE-GDA0002627629270000031
算得每个周期性重复任务下一次执行的起始时间点，确定多个周期性重复任务的下一次执行顺序；
任务执行器状态采集模块，用于记录每个任务执行器的负载，所述负载包括CPU使用率、内存使用率和IO使用率；
任务调度模块，用于向多个任务执行器分别发送任务请求信号，并接受各个任务执行器的反馈信号，所述反馈信号是各个任务执行器在接收到任务请求信号后根据自身负载进行延时后发出的，不同负载对应不同延时时长；向接受到的第一个反馈信号对应的任务执行器发送多个周期性重复任务中需要最先执行的周期性重复任务。
优选的是，所述任务优先级分类模块还用于根据每个周期性重复任务在前n次执行中每次执行的起止时间点计算每个周期性重复任务在前n次执行中每次的执行时长tj，再根据每个周期性重复任务在前n次执行中每次执行的执行时长tj计算每个周期性重复任务在前n次执行中的平均执行时长
Figure RE-GDA0002627629270000032
所述装置还包括：
任务执行器负载分析模块，用于根据周期性重复任务所分配的任务执行器的负载和该周期性重复任务平均执行时长
Figure RE-GDA0002627629270000033
确定是否需要将该周期性重复任务拆分成多个子任务；
任务拆分模块，用于将需要拆分的周期性重复任务拆分成多个子任务；
所述任务调度模块还用于将多个子任务进行重新调度。
优选的是，所述任务分类模块还用于对待处理任务分类得到多个一次性任务；
所述任务调度模块还用于将多个一次性任务按轮转调度算法或最快响应调度算法分别分配给多个任务执行器。
本发明还提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述的方法。
本发明还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时，实现上述的方法。
本发明至少包括以下有益效果：能够根据周期性重复任务的多次执行时间，实时动态调整周期性重复任务的执行周期，再结合任务执行器的负载状态动态分配任务，相比于现有的任务调度方法，可避免任务执行器在接受任务时负载低，执行任务时多个任务叠加负载高的情况，使得分布式***运行更加稳健，且分布式***在执行任务时可取得最优效果。
本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
图1为本发明其中一实施例所述基于分布式数据采集任务调度方法流程图；
图2为本发明其中另一实施例所述基于分布式数据采集任务调度方法中对任务进行拆分的流程图；
图3为本发明其中又一实施例所述基于分布式数据采集任务调度方法中对一次性任务调度的流程图。
具体实施方式
下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
需要说明的是，在本发明的描述中，术语“横向”、“纵向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，并不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
如图1～3所示，本发明提供一种基于分布式数据采集任务调度方法，其应用于包含多个任务执行器的分布式***，这里的任务执行器用于接受任务，根据任务的描述和配置信息执行任务相关的操作。这里所述方法由分布式***的中央处理单元执行，所述方法包括：
S101、获取待处理任务；
这里获取的方法可以是由用户输入至分布式***中，这里获取到待处理任务还包括将任务转化为结构化数据并进行存储。
S102、对待处理任务分类得到多个周期性重复任务；
这里的分类是根据待处理任务的执行次数来区分，分为周期性重复任务和一次性任务。
S103、记录每个周期性重复任务在前n次执行中每次执行的起止时间点；
这里前n次是指从最近一次执行向过去时间推移，总计n次的执行，记录每个周期性重复任务每次执行的起始时间点和终止时间点；
S104、根据每个周期性重复任务在前n次执行中每次执行的起止时间点计算每个周期性重复任务在前n次执行中每相邻两次执行的间隔时长ti，再根据每个周期性重复任务在前n次执行中每相邻两次执行的间隔时长ti计算每个周期性重复任务在前n次执行中的平均间隔时长
Figure RE-GDA0002627629270000051
根据每个周期性重复任务在最近一次执行的终止时间点和平均间隔时长
Figure RE-GDA0002627629270000052
算得每个周期性重复任务下一次执行的起始时间点，确定多个周期性重复任务的下一次执行顺序；
这样可以在每个周期性重复任务下一次执行前，实时更新周期性重复任务的执行周期，避免出现现有的任务调度***常发生的固定执行周期造成任务分配不平均，任务执行器负载忽上忽下的问题。
S105、记录每个任务执行器的负载，所述负载包括CPU使用率、内存使用率和IO使用率；
S106、向多个任务执行器分别发送任务请求信号，并接受各个任务执行器的反馈信号，所述反馈信号是各个任务执行器在接收到任务请求信号后根据自身负载进行延时后发出的，不同负载对应不同延时时长；向接受到的第一个反馈信号对应的任务执行器发送多个周期性重复任务中需要最先执行的周期性重复任务。
这里不同负载对应不同延时时长是指：负载重的任务执行器延时时长设置大一些，负载轻的任务执行器延时时长设置小一些。
本步骤更具体的实施过程可以包括：
1)、t1时刻，分布式***的中央处理单元向多个任务执行器分别发送第一次SYN请求，准备建立连接；
2)、任务执行器收到第一SYN请求后，根据自身负载情况对该请求进行一定的延时处理；
3)、由于负载轻的任务执行器延时时间短，故先发出反馈信号(SYN+ACK包)，而负载重的任务执行器延时时间长，故后发出反馈信号；
4)、t2时刻，负载轻的任务执行器发出的反馈信号先到达分布式***的中央处理单元，于是分布式***的中央处理单元先向负载轻的任务执行器发出第二SYN请求，负载轻的任务执行器收到第二SYN请求检查其中的ACK序列号是否与自身的初始序列号一致，即判断NACK和(NISN+1)是否相等，如果相等，则允许建立与分布式***的中央处理单元之间的连接，否则向上层TCP协议栈发送一个RST数据包以撤销连接。
5)、t3时刻，负载重的任务执行器发出的反馈信号后到达分布式***的中央处理单元，由于此时分布式***的中央处理单元已收到负载轻的任务执行器发出的反馈信号，TCP 协议栈会自动丢弃负载重的任务执行器发出的反馈信号。
上述实施例中的方法，能够根据周期性重复任务的多次执行时间，实时动态调整周期性重复任务的执行周期，再结合任务执行器的负载状态动态分配任务，相比于现有的任务调度方法，可避免任务执行器在接受任务时负载低，执行任务时多个任务叠加负载高的情况，使得分布式***运行更加稳健，且分布式***在执行任务时可取得最优效果。
在另一实例中，所述方法还包括：
S201、根据每个周期性重复任务在前n次执行中每次执行的起止时间点计算每个周期性重复任务在前n次执行中每次的执行时长tj，再根据每个周期性重复任务在前n次执行中每次执行的执行时长tj计算每个周期性重复任务在前n次执行中的平均执行时长
Figure RE-GDA0002627629270000061
S202、根据周期性重复任务所分配的任务执行器的负载和该周期性重复任务平均执行时长
Figure RE-GDA0002627629270000062
确定是否需要将该周期性重复任务拆分成多个子任务；
这里根据周期性重复任务所分配的任务执行器的负载和该周期性重复任务平均执行时长
Figure RE-GDA0002627629270000063
具体是指当任务执行器的负载过高，而无法在平均执行时长
Figure RE-GDA0002627629270000064
内完成任务时，则需要将该周期性重复任务拆分成多个子任务，子任务的数量以刚好满足在平均执行时长
Figure RE-GDA0002627629270000065
Figure RE-GDA0002627629270000066
内完成任务为限。
S203、将需要拆分的周期性重复任务拆分成多个子任务，并将多个子任务进行重新调度。
这里的重新调度可以仍按前一实施例中的方法重新进行分配。
上述实施例中通过对任务处理器负载进行分析，可以有效避免任务处理器负载不足延误任务执行的问题，大大提高了任务处理效率。
在另一实施例中，所述方法还包括：
S301、对待处理任务分类得到多个一次性任务；
这里的一次性任务既包括突发的一次性任务，也包括非突发的一次性任务。
S302、将多个一次性任务按轮转调度算法或最快响应调度算法分别分配给多个任务执行器。
这里的轮转调度算法用于调度非突发的一次性任务，具体的包括：将一次性任务在一串任务执行器中线性轮转，内部采用队列方式实现，先进先出，保证任务的有序性。将新任务请求发给队列中的下一个任务执行器。
这里的最快响应调度算法用于调度突发的一次性任务，具体的包括：根据任务执行器在接受到任务请求后的网络响应时间，将任务分配给网络响应时间最短的任务执行器。
上述实施例中，通过将不同性质的任务按不同的调度方法进行分配后，既可以使得任务按轻重缓急以最快最优的方式得到处理，也可以使得任务执行器负载均匀，分布式***运行稳健。
本发明还提供一种基于分布式数据采集任务调度装置，其应用于包含多个任务执行器的分布式***，所述装置包括：
任务采集模块，用于获取待处理任务；
任务分类模块，用于对待处理任务分类得到多个周期性重复任务；
任务状态采集模块，用于记录每个周期性重复任务在前n次执行中每次执行的起止时间点；
任务优先级分类模块，用于根据每个周期性重复任务在前n次执行中每次执行的起止时间点计算每个周期性重复任务在前n次执行中每相邻两次执行的间隔时长ti，再根据每个周期性重复任务在前n次执行中每相邻两次执行的间隔时长ti计算每个周期性重复任务在前n次执行中的平均间隔时长
Figure RE-GDA0002627629270000071
根据每个周期性重复任务在最近一次执行的终止时间点和平均间隔时长
Figure RE-GDA0002627629270000072
算得每个周期性重复任务下一次执行的起始时间点，确定多个周期性重复任务的下一次执行顺序；
任务执行器状态采集模块，用于记录每个任务执行器的负载，所述负载包括CPU使用率、内存使用率和IO使用率；
任务调度模块，用于向多个任务执行器分别发送任务请求信号，并接受各个任务执行器的反馈信号，所述反馈信号是各个任务执行器在接收到任务请求信号后根据自身负载进行延时后发出的，不同负载对应不同延时时长；向接受到的第一个反馈信号对应的任务执行器发送多个周期性重复任务中需要最先执行的周期性重复任务。
在另一实施例中，所述任务优先级分类模块还用于根据每个周期性重复任务在前n次执行中每次执行的起止时间点计算每个周期性重复任务在前n次执行中每次的执行时长tj，再根据每个周期性重复任务在前n次执行中每次执行的执行时长tj计算每个周期性重复任务在前n次执行中的平均执行时长
Figure RE-GDA0002627629270000081
所述装置还包括：
任务执行器负载分析模块，用于根据周期性重复任务所分配的任务执行器的负载和该周期性重复任务平均执行时长
Figure RE-GDA0002627629270000082
确定是否需要将该周期性重复任务拆分成多个子任务；
任务拆分模块，用于将需要拆分的周期性重复任务拆分成多个子任务；
所述任务调度模块还用于将多个子任务进行重新调度。
在另一实施例中，所述任务分类模块还用于对待处理任务分类得到多个一次性任务；
所述任务调度模块还用于将多个一次性任务按轮转调度算法或最快响应调度算法分别分配给多个任务执行器。
上述基于分布式数据采集任务调度装置采用前面所述的基于分布式数据采集任务调度方法运作。
本发明还提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述的方法。
本发明还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时，实现上述的方法。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (8)

1.基于分布式数据采集任务调度方法，其特征在于，应用于包含多个任务执行器的分布式***，所述方法包括：
获取待处理任务；
对待处理任务分类得到多个周期性重复任务；
记录每个周期性重复任务在前n次执行中每次执行的起止时间点；
根据每个周期性重复任务在前n次执行中每次执行的起止时间点计算每个周期性重复任务在前n次执行中每相邻两次执行的间隔时长ti，再根据每个周期性重复任务在前n次执行中每相邻两次执行的间隔时长ti计算每个周期性重复任务在前n次执行中的平均间隔时长
Figure FDA0002473423350000011
根据每个周期性重复任务在最近一次执行的终止时间点和平均间隔时长
Figure FDA0002473423350000012
算得每个周期性重复任务下一次执行的起始时间点，确定多个周期性重复任务的下一次执行顺序；
记录每个任务执行器的负载，所述负载包括CPU使用率、内存使用率和IO使用率；
向多个任务执行器分别发送任务请求信号，并接受各个任务执行器的反馈信号，所述反馈信号是各个任务执行器在接收到任务请求信号后根据自身负载进行延时后发出的，不同负载对应不同延时时长；向接受到的第一个反馈信号对应的任务执行器发送多个周期性重复任务中需要最先执行的周期性重复任务。
2.如权利要求1所述的基于分布式数据采集任务调度方法，其特征在于，还包括：
根据每个周期性重复任务在前n次执行中每次执行的起止时间点计算每个周期性重复任务在前n次执行中每次的执行时长tj，再根据每个周期性重复任务在前n次执行中每次执行的执行时长tj计算每个周期性重复任务在前n次执行中的平均执行时长
Figure FDA0002473423350000013
根据周期性重复任务所分配的任务执行器的负载和该周期性重复任务平均执行时长
Figure FDA0002473423350000014
确定是否需要将该周期性重复任务拆分成多个子任务；
将需要拆分的周期性重复任务拆分成多个子任务，并将多个子任务进行重新调度。
3.如权利要求1所述的基于分布式数据采集任务调度方法，其特征在于，还包括：
对待处理任务分类得到多个一次性任务；
将多个一次性任务按轮转调度算法或最快响应调度算法分别分配给多个任务执行器。
4.基于分布式数据采集任务调度装置，其特征在于，应用于包含多个任务执行器的分布式***，所述装置包括：
任务采集模块，用于获取待处理任务；
任务分类模块，用于对待处理任务分类得到多个周期性重复任务；
任务状态采集模块，用于记录每个周期性重复任务在前n次执行中每次执行的起止时间点；
任务优先级分类模块，用于根据每个周期性重复任务在前n次执行中每次执行的起止时间点计算每个周期性重复任务在前n次执行中每相邻两次执行的间隔时长ti，再根据每个周期性重复任务在前n次执行中每相邻两次执行的间隔时长ti计算每个周期性重复任务在前n次执行中的平均间隔时长
Figure FDA0002473423350000021
根据每个周期性重复任务在最近一次执行的终止时间点和平均间隔时长
Figure FDA0002473423350000022
算得每个周期性重复任务下一次执行的起始时间点，确定多个周期性重复任务的下一次执行顺序；
任务执行器状态采集模块，用于记录每个任务执行器的负载，所述负载包括CPU使用率、内存使用率和IO使用率；
任务调度模块，用于向多个任务执行器分别发送任务请求信号，并接受各个任务执行器的反馈信号，所述反馈信号是各个任务执行器在接收到任务请求信号后根据自身负载进行延时后发出的，不同负载对应不同延时时长；向接受到的第一个反馈信号对应的任务执行器发送多个周期性重复任务中需要最先执行的周期性重复任务。
5.如权利要求4所述的基于分布式数据采集任务调度装置，其特征在于，
所述任务优先级分类模块还用于根据每个周期性重复任务在前n次执行中每次执行的起止时间点计算每个周期性重复任务在前n次执行中每次的执行时长tj，再根据每个周期性重复任务在前n次执行中每次执行的执行时长tj计算每个周期性重复任务在前n次执行中的平均执行时长
Figure FDA0002473423350000023
所述装置还包括：
任务执行器负载分析模块，用于根据周期性重复任务所分配的任务执行器的负载和该周期性重复任务平均执行时长
Figure FDA0002473423350000024
确定是否需要将该周期性重复任务拆分成多个子任务；
任务拆分模块，用于将需要拆分的周期性重复任务拆分成多个子任务；
所述任务调度模块还用于将多个子任务进行重新调度。
6.如权利要求4所述的基于分布式数据采集任务调度装置，其特征在于，
所述任务分类模块还用于对待处理任务分类得到多个一次性任务；
所述任务调度模块还用于将多个一次性任务按轮转调度算法或最快响应调度算法分别分配给多个任务执行器。
7.电子设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-3中任一项所述的方法。
8.存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时，实现权利要求1-3中任一项所述的方法。
CN202010355882.9A 2020-04-29 2020-04-29 基于分布式数据采集任务调度方法及装置 Active CN111857983B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010355882.9A CN111857983B (zh) 2020-04-29 2020-04-29 基于分布式数据采集任务调度方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010355882.9A CN111857983B (zh) 2020-04-29 2020-04-29 基于分布式数据采集任务调度方法及装置

Publications (2)

Publication Number Publication Date
CN111857983A true CN111857983A (zh) 2020-10-30
CN111857983B CN111857983B (zh) 2023-02-28

Family

ID=72984952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010355882.9A Active CN111857983B (zh) 2020-04-29 2020-04-29 基于分布式数据采集任务调度方法及装置

Country Status (1)

Country Link
CN (1) CN111857983B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130055276A1 (en) * 2011-08-26 2013-02-28 Knu-Industry Cooperation Foundation Task scheduling method and apparatus
CN103793272A (zh) * 2013-12-27 2014-05-14 北京天融信软件有限公司 一种周期性任务调度方法及***
CN109032800A (zh) * 2018-07-26 2018-12-18 郑州云海信息技术有限公司 一种负载均衡调度方法、负载均衡器、服务器及***
CN109062681A (zh) * 2018-08-24 2018-12-21 郑州云海信息技术有限公司 一种周期性循环任务的执行方法、***、装置及存储介质
CN110543354A (zh) * 2019-09-05 2019-12-06 腾讯科技（深圳）有限公司 任务调度方法、装置、设备及存储介质
CN111008072A (zh) * 2019-12-25 2020-04-14 青梧桐有限责任公司 任务调度方法、装置、存储介质及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130055276A1 (en) * 2011-08-26 2013-02-28 Knu-Industry Cooperation Foundation Task scheduling method and apparatus
CN103793272A (zh) * 2013-12-27 2014-05-14 北京天融信软件有限公司 一种周期性任务调度方法及***
CN109032800A (zh) * 2018-07-26 2018-12-18 郑州云海信息技术有限公司 一种负载均衡调度方法、负载均衡器、服务器及***
CN109062681A (zh) * 2018-08-24 2018-12-21 郑州云海信息技术有限公司 一种周期性循环任务的执行方法、***、装置及存储介质
CN110543354A (zh) * 2019-09-05 2019-12-06 腾讯科技（深圳）有限公司 任务调度方法、装置、设备及存储介质
CN111008072A (zh) * 2019-12-25 2020-04-14 青梧桐有限责任公司 任务调度方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN111857983B (zh) 2023-02-28

Similar Documents

Publication Publication Date Title
CN112162865B (zh) 服务器的调度方法、装置和服务器
US8434085B2 (en) Scalable scheduling of tasks in heterogeneous systems
US11080090B2 (en) Method and system for scalable job processing
CN103279351B (zh) 一种任务调度的方法及装置
US10503558B2 (en) Adaptive resource management in distributed computing systems
CN104915253B (zh) 一种作业调度的方法及作业处理器
US10944683B1 (en) Hybrid queue system for request throttling
WO2019056695A1 (zh) 任务调度的方法、装置、终端设备及计算机可读存储介质
CN103019853A (zh) 一种作业任务的调度方法和装置
US20120221810A1 (en) Request management system and method
US10606650B2 (en) Methods and nodes for scheduling data processing
US20120290707A1 (en) System and method for unified polling of networked devices and services
US7467387B2 (en) Method for off-loading user queries to a task manager
CN106570011B (zh) 一种分布式爬虫url种子分发方法、调度节点及抓取节点
CA2631255A1 (en) Scalable scheduling of tasks in heterogeneous systems
CN116483785A (zh) 文件传输调度方法、装置、设备及计算机可读存储介质
CN111857983B (zh) 基于分布式数据采集任务调度方法及装置
JP2007328413A (ja) 負荷分散方法
US7047531B2 (en) Method and apparatus for automated network polling
JP2004046372A (ja) 分散処理システム、リソース割当方法およびプログラムならびにリソース割当プログラムが記録された記録媒体
WO2020178207A1 (en) Virtual machines scheduling
CN110912958A (zh) Http连接的处理方法、装置、设备和介质
US10091068B1 (en) System for modeling distributed systems
JP5115122B2 (ja) 処理性能調整機能を有するモジュール，処理性能調整方法および処理性能調整プログラム
CN116848508A (zh) 基于强化学习模型调度任务以供计算机执行

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20221221

Address after: 100029 Beijing city Chaoyang District Yumin Road No. 3

Applicant after: NATIONAL COMPUTER NETWORK AND INFORMATION SECURITY MANAGEMENT CENTER

Applicant after: BEIJING BLUE LIGHT WIT NETWORK TECHNOLOGY CO.,LTD.

Address before: 100029 Beijing city Chaoyang District Yumin Road No. 3

Applicant before: NATIONAL COMPUTER NETWORK AND INFORMATION SECURITY MANAGEMENT CENTER

Applicant before: BEIHANG University

GR01 Patent grant
GR01 Patent grant