CN109542616A - 一种教育***的多节点间数据计算的调度方法及电子设备 - Google Patents

一种教育***的多节点间数据计算的调度方法及电子设备 Download PDF

Info

Publication number
CN109542616A
CN109542616A CN201811259506.9A CN201811259506A CN109542616A CN 109542616 A CN109542616 A CN 109542616A CN 201811259506 A CN201811259506 A CN 201811259506A CN 109542616 A CN109542616 A CN 109542616A
Authority
CN
China
Prior art keywords
task
upstream
multinode
electronic equipment
educational system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811259506.9A
Other languages
English (en)
Inventor
李天驰
孙悦
涂桂朝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dianmao Technology Co Ltd
Original Assignee
Shenzhen Dianmao Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dianmao Technology Co Ltd filed Critical Shenzhen Dianmao Technology Co Ltd
Priority to CN201811259506.9A priority Critical patent/CN109542616A/zh
Publication of CN109542616A publication Critical patent/CN109542616A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种教育***的多节点间数据计算的调度方法及电子设备，其中，所述方法包括步骤：A.读取任务配置信息；B.根据任务中的上游信息判定是否需要执行下游任务；C.将任务分发至集群各节点执行，本发明所述方案，多级任务之间相互制约，增加了容错率，提高了计算效率。

Description

一种教育***的多节点间数据计算的调度方法及电子设备
技术领域
本发明涉及数据存储领域，尤其涉及一种教育***的多节点间数据计算的调度方法及电子设备。
背景技术
随着互联网技术的发展，越来越多的企业开始重视数据信息的挖掘，大数据技术被应用来加工海量数据。在现有的多节点数据计算的调度***中，并没有严格对作业进行工作流控制，而导致因为部分作业失败而且无法重试，使得整个集群的计算失败。如何有效避免作业运行失败和新增失败后重试机会是本领域亟待解决的问题。
因此，现有技术还有待于改进和发展。
发明内容
鉴于上述现有技术的不足，本发明的目的在于提供一种教育***的多节点间数据计算的调度方法及电子设备，旨在解决多节点间数据计算的调度的问题。
本发明的技术方案如下：
一种教育***的多节点间数据计算的调度方法，其中，包括步骤：
A.读取任务配置信息；
B.根据任务中的上游信息判定是否需要执行下游任务；
C.将任务分发至集群各节点执行。
所述的教育***的多节点间数据计算的调度方法，其中，所述步骤A中，任务的配置信息包括：任务名称，任务的类型，任务执行开始时间，任务执行结束时间，所依赖的其他任务是否完成。
所述的教育***的多节点间数据计算的调度方法，其中，所述步骤C包括：
判断任务中的上游任务是否执行成功；
当上游任务执行成功，这修改标志位为成功标志；
当上游任务执行失败，则，标志位重新置为未执行，并等待重新执行。
所述的教育***的多节点间数据计算的调度方法，其中，每个下游任务对应有一个或多个上游任务。
所述的教育***的多节点间数据计算的调度方法，其中，当上游任务执行成功，这修改标志位为成功标志步骤中，当所述所述上游任务完成后，开启对应的下游任务。
一种电子设备，其中，包括：
包括处理器，适于实现各指令，以及
存储设备，适于存储多条指令，所述指令适于由处理器加载并执行：
读取任务配置信息；
根据任务中的上游信息判定是否需要执行下游任务；
将任务分发至集群各节点执行。
所述的电子设备，其中，任务的配置信息包括：任务名称，任务的类型，任务执行开始时间，任务执行结束时间，所依赖的其他任务是否完成。
所述的电子设备，其中，所述处理器还用于加载并执行：
判断任务中的上游任务是否执行成功；
当上游任务执行成功，这修改标志位为成功标志；
当上游任务执行失败，则，标志位重新置为未执行，并等待重新执行。
所述的电子设备，其中，每个下游任务对应有一个或多个上游任务。
所述的电子设备，其中，所述处理器还用于加载并执行：当上游任务执行成功，这修改标志位为成功标志步骤中，当所述所述上游任务完成后，开启对应的下游任务。
有益效果：本发明公开了一种教育***的多节点间数据计算的调度方法及电子设备，其中，所述方法包括步骤：A.读取任务配置信息；B.根据任务中的上游信息判定是否需要执行下游任务；C.将任务分发至集群各节点执行，本发明所述方案，多级任务之间相互制约，增加了容错率，提高了计算效率。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1为本发明所述教育***的多节点间数据计算的调度方法的步骤流程图。
图2为本发明所述电子设备的结构示意图。
具体实施方式
本发明提供一种教育***的多节点间数据计算的调度方法及电子设备，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参阅图1，为本发明所述教育***的多节点间数据计算的调度方法的步骤流程图，本发明公开了一种教育***的多节点间数据计算的调度方法，其中，包括步骤：
S1.读取任务配置信息；
S2.根据任务中的上游信息判定是否需要执行下游任务；
S3.将任务分发至集群各节点执行。
进一步的，所述的教育***的多节点间数据计算的调度方法，其中，所述步骤S1中，任务的配置信息包括：任务名称，任务的类型，任务执行开始时间，任务执行结束时间，所依赖的其他任务是否完成。
进一步的，所述的教育***的多节点间数据计算的调度方法，其中，所述步骤S3包括：
判断任务中的上游任务是否执行成功；
当上游任务执行成功，这修改标志位为成功标志；
当上游任务执行失败，则，标志位重新置为未执行，并等待重新执行。
进一步的，所述的教育***的多节点间数据计算的调度方法，其中，每个下游任务对应有一个或多个上游任务。
进一步的，所述的教育***的多节点间数据计算的调度方法，其中，当上游任务执行成功，这修改标志位为成功标志步骤中，当所述所述上游任务完成后，开启对应的下游任务。
本发明所述教育***的多节点间数据计算的调度方法，将任务配置成多个子任务，也就是上游任务和下游任务，其中，下游任务只有在所依赖的上游任务执行完成才能进行，因此，在其中某一个上游任务执行失败，则可重新从该上游任务的上一层任务开始执行，能够提高容错率。
本发明，其中任务的配置信息主要包括：任务名称，任务的类型，任务执行开始时间，任务执行结束时间，所依赖的其他任务是否完成。
***会根据所依赖的其他任务是否完成来决定该任务是否需要被执行，此处的上游任务就是指所依赖的其他任务，下游任务就是指此次该任务，他们之间有先后执行的关系。
解决效果：
通过配置作业的依赖关系，运行此***可以做到严格控制作业上下游依赖关系，并对作业的状态进行有效跟踪定位，对失败作业增加重试机会确保集群稳定运行。
进一步的，本发明还公开了一种电子设备10，如图2所示，为所述电子设备的结构示意图，其中，包括：
包括处理器110，适于实现各指令，以及
存储设备120，适于存储多条指令，所述指令适于由处理器110加载并执行：
读取任务配置信息；
根据任务中的上游信息判定是否需要执行下游任务；
将任务分发至集群各节点执行。
所述处理器110可以为通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、单片机、ARM(Acorn RISC Machine)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。还有，处理器还可以是任何传统处理器、微处理器或状态机。处理器也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP核、任何其它这种配置。
存储设备120作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的教育互动方法对应的程序指令。处理器通过运行存储在存储设备中的非易失性软件程序、指令以及单元，从而执行教育互动方法的各种功能应用以及数据处理，即实现上述方法实施例。
进一步的，所述的电子设备，其中，任务的配置信息包括：任务名称，任务的类型，任务执行开始时间，任务执行结束时间，所依赖的其他任务是否完成。
进一步的，所述的电子设备，其中，所述处理器110还用于加载并执行：
判断任务中的上游任务是否执行成功；
当上游任务执行成功，这修改标志位为成功标志；
当上游任务执行失败，则，标志位重新置为未执行，并等待重新执行。
进一步的，所述的电子设备，其中，每个下游任务对应有一个或多个上游任务。
进一步的，所述的电子设备，其中，所述处理器110还用于加载并执行：当上游任务执行成功，这修改标志位为成功标志步骤中，当所述所述上游任务完成后，开启对应的下游任务。
将任务配置成多个子任务，也就是上游任务和下游任务，其中，下游任务只有在所依赖的上游任务执行完成才能进行，因此，在其中某一个上游任务执行失败，则可重新从该上游任务的上一层任务开始执行，能够提高容错率。
本发明，其中任务的配置信息主要包括：任务名称，任务的类型，任务执行开始时间，任务执行结束时间，所依赖的其他任务是否完成。
***会根据所依赖的其他任务是否完成来决定该任务是否需要被执行，此处的上游任务就是指所依赖的其他任务，下游任务就是指此次该任务，他们之间有先后执行的关系。
解决效果：
通过配置作业的依赖关系，运行此***可以做到严格控制作业上下游依赖关系，并对作业的状态进行有效跟踪定位，对失败作业增加重试机会确保集群稳定运行。
综上所述，本发明公开了一种教育***的多节点间数据计算的调度方法及电子设备，其中，所述方法包括步骤：A.读取任务配置信息；B.根据任务中的上游信息判定是否需要执行下游任务；C.将任务分发至集群各节点执行，本发明所述方案，多级任务之间相互制约，增加了容错率，提高了计算效率。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种教育***的多节点间数据计算的调度方法，其特征在于，包括步骤：
A.读取任务配置信息；
B.根据任务中的上游信息判定是否需要执行下游任务；
C.将任务分发至集群各节点执行。
2.根据权利要求1所述的教育***的多节点间数据计算的调度方法，其特征在于，所述步骤A中，任务的配置信息包括：任务名称，任务的类型，任务执行开始时间，任务执行结束时间，所依赖的其他任务是否完成。
3.根据权利要求2所述的教育***的多节点间数据计算的调度方法，其特征在于，所述步骤C包括：
判断任务中的上游任务是否执行成功；
当上游任务执行成功，这修改标志位为成功标志；
当上游任务执行失败，则，标志位重新置为未执行，并等待重新执行。
4.根据权利要求3所述的教育***的多节点间数据计算的调度方法，其特征在于，每个下游任务对应有一个或多个上游任务。
5.根据权利要求4所述的教育***的多节点间数据计算的调度方法，其特征在于，当上游任务执行成功，这修改标志位为成功标志步骤中，当所述所述上游任务完成后，开启对应的下游任务。
6.一种电子设备，其特征在于，包括：
包括处理器，适于实现各指令，以及
存储设备，适于存储多条指令，所述指令适于由处理器加载并执行：
读取任务配置信息；
根据任务中的上游信息判定是否需要执行下游任务；
将任务分发至集群各节点执行。
7.根据权利要求6所述的电子设备，其特征在于，任务的配置信息包括：任务名称，任务的类型，任务执行开始时间，任务执行结束时间，所依赖的其他任务是否完成。
8.根据权利要求7所述的电子设备，其特征在于，所述处理器还用于加载并执行：
判断任务中的上游任务是否执行成功；
当上游任务执行成功，这修改标志位为成功标志；
当上游任务执行失败，则，标志位重新置为未执行，并等待重新执行。
9.根据权利要求8所述的电子设备，其特征在于，每个下游任务对应有一个或多个上游任务。
10.根据权利要求9所述的电子设备，其特征在于，所述处理器还用于加载并执行：当上游任务执行成功，这修改标志位为成功标志步骤中，当所述所述上游任务完成后，开启对应的下游任务。
CN201811259506.9A 2018-10-26 2018-10-26 一种教育***的多节点间数据计算的调度方法及电子设备 Pending CN109542616A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811259506.9A CN109542616A (zh) 2018-10-26 2018-10-26 一种教育***的多节点间数据计算的调度方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811259506.9A CN109542616A (zh) 2018-10-26 2018-10-26 一种教育***的多节点间数据计算的调度方法及电子设备

Publications (1)

Publication Number Publication Date
CN109542616A true CN109542616A (zh) 2019-03-29

Family

ID=65845335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811259506.9A Pending CN109542616A (zh) 2018-10-26 2018-10-26 一种教育***的多节点间数据计算的调度方法及电子设备

Country Status (1)

Country Link
CN (1) CN109542616A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080301642A1 (en) * 2007-06-01 2008-12-04 Alimi Richard A Method and System for Dynamically Tracking Arbitrary Task Dependencies on Computers in a Grid Environment
CN104714838A (zh) * 2013-12-12 2015-06-17 ***通信集团四川有限公司 一种任务调度方法及装置
CN105117286A (zh) * 2015-09-22 2015-12-02 北京大学 MapReduce中任务的调度方法和流水化执行方法
CN108491254A (zh) * 2018-02-07 2018-09-04 链家网（北京）科技有限公司 一种数据仓库的调度方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080301642A1 (en) * 2007-06-01 2008-12-04 Alimi Richard A Method and System for Dynamically Tracking Arbitrary Task Dependencies on Computers in a Grid Environment
CN104714838A (zh) * 2013-12-12 2015-06-17 ***通信集团四川有限公司 一种任务调度方法及装置
CN105117286A (zh) * 2015-09-22 2015-12-02 北京大学 MapReduce中任务的调度方法和流水化执行方法
CN108491254A (zh) * 2018-02-07 2018-09-04 链家网（北京）科技有限公司 一种数据仓库的调度方法及装置

Similar Documents

Publication Publication Date Title
JP5140067B2 (ja) ワークフローにおいて継続をモデル化するフレームワーク
JP6223569B2 (ja) ビジネスフローをスケジュールするためのコンピュータ装置、方法及び装置
JP2016541056A5 (zh)
US20150128143A1 (en) Realizing jumps in an executing process instance
US8271768B2 (en) Concurrent handling of exceptions in received aggregate exception structure with supplied exception handlers and marking handled exceptions
CN103870327A (zh) 一种实时多任务调度方法和装置
CN103294533A (zh) 任务流控制方法及***
JP2009522647A (ja) ワークフローのオブジェクトモデル
US20150205633A1 (en) Task management in single-threaded environments
US8307368B2 (en) Locality-based scheduling in continuation-based runtimes
CN106776395B (zh) 一种共享集群的任务调度方法及装置
CN106775932B (zh) 一种云计算***中随机事件触发的实时工作流调度方法
US9092278B2 (en) Determining the processing order of a plurality of events
CN109766196A (zh) 一种任务调度方法、装置及设备
US8146085B2 (en) Concurrent exception handling using an aggregated exception structure
WO2024119930A1 (zh) 调度方法、装置、计算机设备和存储介质
US9032326B2 (en) Late instantiation of dependent objects
CN109542616A (zh) 一种教育***的多节点间数据计算的调度方法及电子设备
CN112086178A (zh) 医护自动化排班方法、装置、计算机可读存储介质及设备
WO2023185137A1 (zh) 一种任务管理方法、装置、设备及存储介质
CN111443898A (zh) 基于优先级队列与有限状态机的流程式控制软件设计方法
US20200004510A1 (en) Actor model programming
CN107832162B (zh) 远程调用ModelCenter软件实现多学科设计优化的方法
CN109492057A (zh) 一种教育***的用于Hive离线计算方法及电子设备
CN104731900A (zh) 一种Hive调度方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190329

RJ01 Rejection of invention patent application after publication