CN113157411A - 一种基于Celery的可靠可配置任务***及装置 - Google Patents

一种基于Celery的可靠可配置任务***及装置 Download PDF

Info

Publication number
CN113157411A
CN113157411A CN202110351700.5A CN202110351700A CN113157411A CN 113157411 A CN113157411 A CN 113157411A CN 202110351700 A CN202110351700 A CN 202110351700A CN 113157411 A CN113157411 A CN 113157411A
Authority
CN
China
Prior art keywords
module
task
celery
tasks
configuration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110351700.5A
Other languages
English (en)
Other versions
CN113157411B (zh
Inventor
郭志全
李超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ruixin High Throughput Technology Co ltd
Original Assignee
Beijing Ruixin High Throughput Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ruixin High Throughput Technology Co ltd filed Critical Beijing Ruixin High Throughput Technology Co ltd
Priority to CN202110351700.5A priority Critical patent/CN113157411B/zh
Publication of CN113157411A publication Critical patent/CN113157411A/zh
Application granted granted Critical
Publication of CN113157411B publication Critical patent/CN113157411B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/508—Monitor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/547—Messaging middleware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供了一种基于Celery的可靠可配置任务***，该***包括：网络接口模块、分配模块、配置模块、监控模块、数据库模块、celery模块；网络接口模块作为与网络端的数据输入、输出端口；分配模块为每一类注册在celery模块上的任务创建一个负载均衡，当分配模块接收到来自网络接口模块的提交任务请求后，在数据库模块中创建对应记录，再通过负载均衡将提交任务请求对应的任务发送至celery模块中的消息代理中；配置模块用于维护***的配置文件；监控模块用于解析和检查***配置文件，并实时监控celery模块的定时任务调度器及执行模块的状态及校验并执行配置模块发送的变更数据。本方案支持更可靠的异步任务及动态变更，支持任务的热插拔，扩展性强。

Description

一种基于Celery的可靠可配置任务***及装置
技术领域
本发明涉及计算机异步任务调度架构领域，尤其涉及一种基于基础celery***的动态可配置任务调度***及其装置。
背景技术
Celery是Python实现的，专注实时处理和任务调度的分布式任务队列，具有简单，可用，快速，灵活等特性，易于集成到一些开发的框架，有着广泛的应用场景。当用户在网站中进行某个操作需要很长时间时，可以将这种操作交给Celery执行，先返回给用户一个友好的提醒，等任务执行完成后再返回结果。还有一些在运维场景中需要批量在几百台机器上执行一些命令或者任务时Celery也可以轻松搞定，Celery也提供定时任务，比如定时导出数据报表，定时发送等类似场景。
虽然Celery***便于进行大量消息队列的处理，但是，仅仅依靠Celery***并不能满足实际应用，例如对于可靠性要求较高的场景，或者对于动态变化的任务队列的处理，Celery***则不能很好地进行有效的监控和任务的合理调度，这就在实际应用中造成了不必要的任务调度错误或者时效上的失误，因此，如何保证任务队列调度和执行中的可靠性及应对不断任务需求的变化，是目前实际应用中需要解决的问题。
发明内容
针对现有技术的不足，本发明提出一种基于Celery的可靠可配置任务***及装置，能够支持动态变化的任务队列的调度和执行，并有效提高任务的可靠性。具体而言，本发明提供了以下的技术方案：
一方面，本发明提供了一种基于Celery的可靠可配置任务***，所述***包括：
网络接口模块、分配模块、配置模块、监控模块、数据库模块、celery模块、执行模块；
所述网络接口模块作为与网络端的数据输入、输出端口，并将接收到的数据信息发送至所述分配模块；
所述分配模块与所述数据库模块、celery模块进行数据交互，并为每一类注册在celery模块上的任务创建一个负载均衡，当所述分配模块接收到来自所述网络接口模块的提交任务请求后，在所述数据库模块中创建对应记录，再通过负载均衡将提交任务请求对应的任务发送至celery模块中的消息代理中；
所述配置模块用于维护***的配置文件，并与所述监控模块进行数据交互；
所述监控模块用于解析和检查***配置文件，并实时监控celery模块的定时任务调度器及执行模块的状态，同时，校验并执行配置模块发送的变更数据；
所述数据库模块用于进行***数据存储。
所述执行模块用于执行下发的具体任务内容，由celery模块中的worker触发执行。
优选的，所述分配模块还用于：在任务执行结束时，如果任务执行成功，则保存结果到所述数据库模块，并返回信息给网络接口模块，如果任务执行不成功，则重新下发任务。
优选的，所述负载均衡还用于：当任务的预估执行时间差值满足一预设时间时，采用轮询方式监控任务状态；否则，依据执行时间对任务进行划分，以将任务归入不同队列。
优选的，所述队列数目与注册在celery模块上的类别数目相同。
优选的，所述分配模块在所述数据库模块中创建对应记录中，包括为任务分配的ID、任务的参数、任务下发时间。
优选的，所述分配模块判断任务失败的方式为：
分配模块收到成功执行任务的返回信息时，会用该成功执行任务的下发时间与同队列中已下发任务的下发时间进行对比，如果连续N个已下发任务的下发时间都早于成功执行任务的下发时间，则判定该成功执行任务失败；或者
当所述celery模块的任务重试次数超出一预设重试阈值时，则判定该重试的任务失败。
优选的，所述配置模块还用于：解析***新配置参数并与当前***配置参数进行比较，如果发生变更就发送变更信号与变更内容给监控模块，等监控模块处理完成并返回成功后，更新配置文件，否则忽略此次变更。
优选的，所述***配置文件中，包含System节、Task节；
所述System节描述celery模块中的消息代理及后端处理；
所述Task节用于描述任务。
优选的，所述监控模块在校验并执行配置模块发送的变更数据时，执行的相关操作包括：
Add操作，首先检查任务执行函数是否存在，根据任务描述启动新的Worker进程；以及
Update操作，在Worker空闲或完成任务时，杀死Worker进程，再根据任务描述启动新的Worker进程；以及
Delete操作，杀死Worker进程。
此外，本发明还提供了一种基于Celery的可靠可配置任务装置，所述装置至少包括一处理器模块及存储器模块，所述处理器模块及存储器模块被配置为包含如上所述的基于Celery的可靠可配置任务***。
与现有技术相比，本方案是基于celery基础架构的新的设计，调整后的***架构，支持更可靠的异步任务，支持已有任务的动态变更，包括任务的执行函数，执行方式，并发数目等等；支持任务的热插拔；扩展性强。
附图说明
图1为本发明实施例的***结构图；
图2为Celery模块相关部分的框架示意图；
图3为本发明实施例的负载均衡模块与任务队列的结构示意图。
具体实施方式
下面将结合本发明实施例中的图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在一个具体的实施例中，结合图1所示，本发明方案的***架构，可以通过以下方式来实现：
主要包含WEB API(即网络接口模块)，数据库，分配模块，配置模块，监控模块，celery模块和执行模块。
WEB API提供用户访问接口，接口有任务和***配置相关，提交任务和查询任务执行结果，修改***配置与查询修改结果。
数据库用于记录用户操作，所有提交的任务，任务参数与执行状态等等。
Celery部分的框架结构如图2所示。
Celery模块的主要组件包括：
App，任务生产者。
Beat,定时任务调度器。
Worker,执行任务的消费者，调用执行模块完成任务。
Broker，消息代理，接受任务生产者发送过来的任务消息，存进队列再按序分发给任务消费方。
Backend，后端处理，用于任务处理完后保存状态信息和结果。
执行模块用于执行下发的具体任务内容，由celery模块中的worker触发执行。
分配模块会为每一类注册在Celery***上的Task创建一个负载均衡，当WEB端收到提交任务请求后，分配模块会在数据库中创建一条记录，为任务分配唯一ID并保存任务参数，记录任务下发时间，再由负载均衡调用Celery的API把任务送入Celery Broker中去，等任务执行结束时如果任务执行成功保存结果到数据库中并返回给用户，否则重新下发任务。
配置模块用于维护***的配置文件，解析新配置参数并与当前***配置进行比较，如果发生变更就发送信号与变更内容给监控模块，等监控模块处理完成返回成功后更新配置文件，否则忽略此次变更，返回没有变更的状态给用户。
在一个具体的实施方式中，***配置可以采用由节、键、值组成的文件格式，***配置文件中优选设置有System和Task两个节。
以一个具体的实施例为例，System节可以如下设置，以主要描述celery的Broker和Backend。
[System]
broker＝amqp://username:password@host//
backend＝redis://host:port/section
在一个具体的实施方式中，Task节可以设置如下，主要描述任务，一个任务为一行，键为任务名称，值为任务的执行信息，用|隔开，分别是：Celery Worker个数|Task任务执行函数模块(业务)|Broker中队列个数|Task并发执行方式和并发数目。为了便于维护与管理，在一个更为优选的实施方式中，***中Worker的个数与队列个数X保持一直，即Worker能且只能监听在一个队列上，处理一种任务。
[Task]
任务_1＝1|celery.task.Task_1|3|Threads|20
任务_2＝1|celery.task.Task_1|1|gevent|10
如图3所示为以上Task节所描述Celery内部任务队列和Worker对应的一种情况。
当涉及到***配置发生变更时，在一个优选的实施方式中，基础的变更操作任务有:
新增任务，Add任务_1＝1|celery.task.Task_1|4|Threads|20
更新任务，Update任务_1＝1|celery.task.Task_1|4|Threads|20
删除任务，Delete任务_1
Add/Update/Delete是变更操作符，后面是变更内容即新的任务描述信息或删除任务的名称，为便于***任务的统一调度和管理，在一个优选的实施方式中，任务格式与上述示例保持一致。
结合图3所示，监控模块主要负责:
1)在***启动时检查并解析***配置文件启动Celery Worker。
2)***运行中实时监控每个Worker和Beat的状态，占用资源的状态等，如果发生异常，如Worker中Task执行异常，Worker Hang住等，会杀死相应的进程并重启；如果Worker进程退出也会自动重新启动。
3)校验格式并解析配置模块发来的变更，执行相关操作。
a.Add操作，首先会检查任务执行函数模块是否存在，根据任务描述启动新的Worker进程。
b.Update操作，在Worker空闲或完成任务时，杀死Worker进程，再根据任务描述启动新的Worker进程。
c.Delete操作，杀死Worker进程。
负载均衡在***运行中，涉及以下内容工作:
基于本发明提出的上述***的结构，本***相应可实现基于预估任务执行时间的两种简单模式：
1)任务预估执行时间之间相差不多，例如可以设置一阈值，当不同任务的预估执行时间之差在阈值以下时，则认为上述的不同任务的预估执行时间差不多相同，则此时负载均衡可以采用轮询方式；
2)而当任务预估执行时间之差超过了预设的阈值，则认为上述的不同任务的预估执行时间不同，则对任务进行划分，划分的标准和类别可以基于不同的***配置或者任务处理需求进行甚至，例如如设置为非常耗时任务/一般耗时任务/较少耗时任务等等，将耗时不同的任务放在不同的队列中。
对于上述第2)条，在一个优选的实施方式中，任务的队列个数配置与任务的划分类别数目可设置为相同，此外，根据需求，对于非常耗时的任务可以适当的增加并发量。
在***执行中，对于任务的可靠性执行方面，本***通过以下方式进行控制:
一个任务的生命周期划分为2个阶段，阶段一，任务由用户提交到进入CeleryWorker执行单元；阶段二，任务开始执行到完成。
在这两个阶段如果任务失败，只要任务信息被分配模块写入数据库中就能保证再次执行，直到任务成功，在一个优选的实施方式中，分配模块判定任务失败可以通过以下方式实现：
1)阶段一，同一队列中任务是顺序执行的，分配模块收到任务成功执行的返回信息时，用该任务的下发时间与相同队列中已经下发任务的下发时间进行对比(同一队列中的任务是顺序下发执行的)，如果连续N个任务的下发时间都早于成功任务的，则认为该任务失败。对于预估时间不同的同类任务，3需要调整。
2)阶段二，Celery模块内部提供了基础的任务重试机制，此时可以通过例如设置任务的重试次数等等作为判断的依据，当超出预设的重试次数后，任务仍然无法正常执行时，则可以认为任务失败。
此外，作为本发明的另外一种实现方式，本发明的技术方案还可以通过一种电子装置的方式实现，这一电子装置至少具有存储模块和处理器模块，优选的方式中，该电子装置还可以设置有与处理器模块、存储器模块相配合或者支持处理器模块、存储器模块正常运行的其他模块，上述的电子装置可以被配置成为包含本说明书提及的基于Celery的可靠可配置任务***，从而使得***可以实现本发明提供的技术方案的各个基本功能。
取决于期望的配置，上述电子装置中的处理器模块可以是任何类型的处理，包括但不限于：微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器模块可以包括诸如一级高速缓存和二级高速缓存之类的一个或者多个级别的高速缓存、处理器核心和寄存器。示例的处理器核心可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器可以与处理器模块一起使用，或者在一些实现中，存储器控制器可以是处理器模块的一个内部部分。
取决于期望的配置，上述电子装置中的存储器模块可以是任意类型的存储器，包括但不限于：易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。存储器模块可以包括操作***、一个或者多个应用以及程序数据。在一些实施方式中，应用可以布置为在操作***上利用程序数据进行操作。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种基于Celery的可靠可配置任务***，其特征在于，所述***包括：
网络接口模块、分配模块、配置模块、监控模块、数据库模块、celery模块、执行模块；
所述网络接口模块作为与网络端的数据输入、输出端口，并将接收到的数据信息发送至所述分配模块；
所述分配模块与所述数据库模块、celery模块进行数据交互，并为每一类注册在celery模块上的任务创建一个负载均衡，当所述分配模块接收到来自所述网络接口模块的提交任务请求后，在所述数据库模块中创建对应记录，再通过负载均衡将提交任务请求对应的任务发送至celery模块中的消息代理中；
所述配置模块用于维护***的配置文件，并与所述监控模块进行数据交互；
所述监控模块用于解析和检查***配置文件，并实时监控celery模块的定时任务调度器及执行模块的状态，同时，校验并执行配置模块发送的变更数据；
所述数据库模块用于进行***数据存储；
所述执行模块用于执行下发的具体任务内容。
2.根据权利要求1所述的***，其特征在于，所述分配模块还用于：在任务执行结束时，如果任务执行成功，则保存结果到所述数据库模块，并返回信息给网络接口模块，如果任务执行不成功，则重新下发任务。
3.根据权利要求1所述的***，其特征在于，所述负载均衡还用于：当任务的预估执行时间差值满足一预设时间时，采用轮询方式监控任务状态；否则，依据执行时间对任务进行划分，以将任务归入不同队列。
4.根据权利要求3所述的***，其特征在于，所述队列数目与注册在celery模块上的类别数目相同。
5.根据权利要求1所述的***，其特征在于，所述分配模块在所述数据库模块中创建对应记录中，包括为任务分配的ID、任务的参数、任务下发时间。
6.根据权利要求2所述的***，其特征在于，所述分配模块判断任务失败的方式为：
分配模块收到成功执行任务的返回信息时，会用该成功执行任务的下发时间与同队列中已下发任务的下发时间进行对比，如果连续N个已下发任务的下发时间都早于成功执行任务的下发时间，则判定该成功执行任务失败；或者
当所述celery模块的任务重试次数超出一预设重试阈值时，则判定该重试的任务失败。
7.根据权利要求1所述的***，其特征在于，所述配置模块还用于：解析***新配置参数并与当前***配置参数进行比较，如果发生变更就发送变更信号与变更内容给监控模块，等监控模块处理完成并返回成功后，更新配置文件，否则忽略此次变更。
8.根据权利要求1所述的***，其特征在于，所述***配置文件中，包含System节、Task节；
所述System节描述celery模块中的消息代理及后端处理；
所述Task节用于描述任务。
9.根据权利要求1所述的***，其特征在于，所述监控模块在校验并执行配置模块发送的变更数据时，执行的相关操作包括：
Add操作，首先检查任务执行函数是否存在，根据任务描述启动新的Worker进程；以及
Update操作，在Worker空闲或完成任务时，杀死Worker进程，再根据任务描述启动新的Worker进程；以及
Delete操作，杀死Worker进程。
10.一种基于Celery的可靠可配置任务装置，其特征在于，所述装置至少包括一处理器模块及存储器模块，所述处理器模块及存储器模块被配置为包含如权利要求1至9任一所述的基于Celery的可靠可配置任务***。
CN202110351700.5A 2021-03-31 2021-03-31 一种基于Celery的可靠可配置任务***及装置 Active CN113157411B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110351700.5A CN113157411B (zh) 2021-03-31 2021-03-31 一种基于Celery的可靠可配置任务***及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110351700.5A CN113157411B (zh) 2021-03-31 2021-03-31 一种基于Celery的可靠可配置任务***及装置

Publications (2)

Publication Number Publication Date
CN113157411A true CN113157411A (zh) 2021-07-23
CN113157411B CN113157411B (zh) 2024-04-12

Family

ID=76885880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110351700.5A Active CN113157411B (zh) 2021-03-31 2021-03-31 一种基于Celery的可靠可配置任务***及装置

Country Status (1)

Country Link
CN (1) CN113157411B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688279A (zh) * 2021-08-20 2021-11-23 山东产业技术研究院智能计算研究院 一种基于celery的视频结构化方法及***
CN114612286A (zh) * 2022-02-28 2022-06-10 上海深至信息科技有限公司 一种图像处理调度***和方法
CN116028544A (zh) * 2023-03-30 2023-04-28 山东爱特云翔计算机有限公司 基于openstack的定时任务动态添加方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10558457B1 (en) * 2018-08-24 2020-02-11 Dais Technology, LLC Platform discovery and deployment automation system
CN111506412A (zh) * 2020-04-22 2020-08-07 上海德拓信息技术股份有限公司 基于Airflow的分布式异步任务构建、调度***及方法
CN111984440A (zh) * 2020-09-11 2020-11-24 苏州浪潮智能科技有限公司 一种Celery在线管理及自动执行任务的方法、***和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10558457B1 (en) * 2018-08-24 2020-02-11 Dais Technology, LLC Platform discovery and deployment automation system
CN111506412A (zh) * 2020-04-22 2020-08-07 上海德拓信息技术股份有限公司 基于Airflow的分布式异步任务构建、调度***及方法
CN111984440A (zh) * 2020-09-11 2020-11-24 苏州浪潮智能科技有限公司 一种Celery在线管理及自动执行任务的方法、***和存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688279A (zh) * 2021-08-20 2021-11-23 山东产业技术研究院智能计算研究院 一种基于celery的视频结构化方法及***
CN114612286A (zh) * 2022-02-28 2022-06-10 上海深至信息科技有限公司 一种图像处理调度***和方法
CN116028544A (zh) * 2023-03-30 2023-04-28 山东爱特云翔计算机有限公司 基于openstack的定时任务动态添加方法
CN116028544B (zh) * 2023-03-30 2023-06-23 山东爱特云翔计算机有限公司 基于openstack的定时任务动态添加方法

Also Published As

Publication number Publication date
CN113157411B (zh) 2024-04-12

Similar Documents

Publication Publication Date Title
CN110069572B (zh) 基于大数据平台的hive任务调度方法、装置、设备及存储介质
CN111782360B (zh) 分布式任务调度方法及装置
CN113157411A (zh) 一种基于Celery的可靠可配置任务***及装置
US11188392B2 (en) Scheduling system for computational work on heterogeneous hardware
US8332845B2 (en) Compile timing based on execution frequency of a procedure
WO2021159638A1 (zh) 集群队列资源的调度方法、装置、设备及存储介质
CN101533417A (zh) 一种实现etl调度的方法及***
CN109471711B (zh) 一种任务处理的方法及装置
CN109739482A (zh) 一种基于动态语言的业务逻辑执行***及方法
CN111666141A (zh) 任务调度方法、装置、设备及计算机存储介质
US20200310828A1 (en) Method, function manager and arrangement for handling function calls
CN117076096A (zh) 任务流程的执行方法、装置、计算机可读介质及电子设备
CN112749062A (zh) 服务端程序监控方法、装置、计算机设备及存储介质
CN111831408A (zh) 异步任务处理方法、装置、电子设备及介质
CN112631994A (zh) 数据迁移方法及***
US20090168092A1 (en) Job management and scheduling method for network system
CN115373886A (zh) 服务群组容器停机方法、装置、计算机设备和存储介质
CN111324668B (zh) 数据库数据同步处理方法、装置及存储介质
CN115220908A (zh) 资源调度方法、装置、电子设备及存储介质
CN114968505A (zh) 任务处理***、方法、装置、设备、存储介质及程序产品
CN110188008B (zh) 作业调度主备切换方法、装置、计算机设备及存储介质
CN113553098A (zh) Flink SQL作业的提交方法、装置及计算机设备
CN117472516B (zh) 虚拟资源调度方法、装置、集群***、电子设备和介质
CN116719626B (zh) 海量数据拆分的多线程并行处理方法及其处理***
CN110286937B (zh) 一种分布式软件运行的方法及其***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 711c, 7 / F, block a, building 1, yard 19, Ronghua Middle Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing 102600

Applicant after: Beijing Zhongke Flux Technology Co.,Ltd.

Address before: Room 711c, 7 / F, block a, building 1, yard 19, Ronghua Middle Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing 102600

Applicant before: Beijing Ruixin high throughput technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant