CN112448977A - 分配任务的***、方法、设备和计算机可读介质 - Google Patents

分配任务的***、方法、设备和计算机可读介质 Download PDF

Info

Publication number
CN112448977A
CN112448977A CN201910816194.5A CN201910816194A CN112448977A CN 112448977 A CN112448977 A CN 112448977A CN 201910816194 A CN201910816194 A CN 201910816194A CN 112448977 A CN112448977 A CN 112448977A
Authority
CN
China
Prior art keywords
task
client
processing
scheduler
tasks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910816194.5A
Other languages
English (en)
Inventor
韩立村
于林坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201910816194.5A priority Critical patent/CN112448977A/zh
Publication of CN112448977A publication Critical patent/CN112448977A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了分配任务的***、方法、设备和计算机可读介质,涉及计算机技术领域。该***的一具体实施方式:***包括:客户端、一个或多个任务调度器和一个或多个工作节点;所述客户端,用于采用超文本预处理器PHP请求所述任务调度器处理超文本传输协议HTTP请求的任务;所述任务调度器,用于接收所述任务,将所述任务分配至所述工作节点,并监听所述工作节点的任务处理结果;所述工作节点,用于处理所述任务。该实施方式能够减少处理HTTP请求的处理时间,因此通过PHP发送的HTTP请求发生超时的可能性较小。

Description

分配任务的***、方法、设备和计算机可读介质
技术领域
本发明涉及计算机技术领域,尤其涉及一种分配任务的***、方法、设备和计算机可读介质。
背景技术
LNMP网站架构是目前国际流行的网络框架,该框架包括:Linux操作***、Nginx网络服务器、MySQL数据库和超文本预处理器(Hypertext Preprocessor,PHP),上述四者组合在一起成为一个免费、高效的网站服务***。
其中,PHP快速、灵活和实用的特点决定它尤其适合网站开发。根据调查显示,有全球超过78.9%的公共网站在服务器端采用PHP,其驱动全球超过2亿多个网站。
通用网关接口进程管理(FastCGI Process Manager,FPM)为PHP快速通用网关接口(Fast Common Gateway Interface,FastCGI)运行模式的一个进程管理器,其核心功能是进程管理。网络服务器(Nginx)与FPM之间采用多进程模式,由于工作节点(工作节点)为进程阻塞模型,由工作节点处理FPM的子进程,即:FPM的子进程在同一时刻只能响应一个超文本传输协议(Hyper Text Transfer Protocol,HTTP)请求,只有将该HTTP请求处理完成后才会接收下一个HTTP请求。
在实现本发明过程中,发明人发现现有技术中至少存在如下问题:由于部分HTTP请求会消耗较多的处理时间,通过PHP发送的HTTP请求发生超时的可能性比较大。
发明内容
有鉴于此,本发明实施例提供一种分配任务的***、方法、设备和计算机可读介质,能够减少处理HTTP请求的处理时间,因此通过PHP发送的HTTP请求发生超时的可能性较小。
为实现上述目的,根据本发明实施例的一个方面,提供了一种分配任务的***,所述***包括:客户端、一个或多个任务调度器和一个或多个工作节点;
所述客户端与所述任务调度器耦合,所述任务调度器与所述一个或多个工作节点耦合;
所述客户端,用于采用超文本预处理器PHP请求所述任务调度器处理超文本传输协议HTTP请求的任务;
所述任务调度器,用于接收所述任务,将所述任务分配至所述工作节点,并监听所述工作节点的任务处理结果;
所述工作节点,用于处理所述任务。
所述任务调度器还用于,将所述HTTP请求的任务存储在数据库中;
重启所述任务调度器时,从所述数据库中加载所述HTTP请求的任务。
所述客户端采用PHP以异步方式请求所述任务调度器处理所述任务,在将所述任务发送至所述任务调度器后,断开与所述任务调度器的连接;
或,
所述客户端采用PHP以同步方式请求所述任务调度器处理所述任务,在将所述任务发送至所述任务调度器后,维持与所述任务调度器的连接,以等待所述任务的处理结果。
所述客户端采用PHP以同步方式请求所述任务调度器处理所述任务的情况下,所述客户端通过所述连接向所述任务调度器查询所述任务的处理状态。
所述***还包括监控节点,用于监控所述任务调度器的状态和所述工作节点的状态,
所述工作节点的状态包括所述工作节点的IP地址、工作节点所连接任务调度器的IP地址,执行所述任务的名称和执行所述任务的子线程数;
所述任务调度器的状态包括所述任务调度器的IP地址、未完成任务的数目、正在执行所述任务的工作节点的数目和可用工作节点数目。
根据本发明实施例的第二方面,提供了一种分配任务的方法,包括:
接收客户端发送的,采用超文本预处理器PHP请求,处理超文本传输协议HTTP请求的任务;
将所述HTTP请求的任务分配至工作节点,并监听所述工作节点的任务处理结果。
所述方法还包括:
将所述HTTP请求的任务存储在数据库中;
所述处理HTTP请求的任务之前,还包括:
重启时,从所述数据库中加载所述HTTP请求的任务。
所述接收PHP请求处理HTTP请求的任务,包括:
接收PHP以异步方式请求处理HTTP请求的任务后,断开与客户端的连接。
所述接收客户端发送的采用PHP请求,处理HTTP请求的任务,包括:
接收客户端发送的,采用PHP以异步方式请求,处理所述任务后,断开与所述客户端的连接;
或,
接收客户端发送的,采用PHP以同步方式请求,处理所述任务后,维持与所述客户端的连接,以等待所述任务的处理结果。
根据本发明实施例的第三方面,提供了一种分配任务的电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上述的方法。
根据本发明实施例的第四方面,提供了一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现如上述的方法。
上述发明中的一个实施例具有如下优点或有益效果:因为客户端采用PHP请求任务调度器处理HTTP请求的任务。任务调度器接收任务,将任务分配至工作节点,并监听工作节点的任务处理结果。工作节点用于处理任务。由于工作节点可以迅速处理任务,加快处理任务的速度,减少处理HTTP请求的处理时间,因此通过PHP发送的HTTP请求发生超时的可能性较小。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
图1是根据本发明实施例的HTTP请求的处理过程的示意图;
图2是根据本发明实施例的分配任务的***的主要结构的示意图;
图3是根据本发明实施例的分配异步处理任务的时序图;
图4是根据本发明实施例的分配同步处理任务的时序图;
图5是根据本发明实施例的监控的示意图;
图6是根据本发明实施例的分配任务的方法的主要流程的示意图;
图7是本发明实施例可以应用于其中的示例性***架构图;
图8是适于用来实现本发明实施例的终端设备或服务器的计算机***的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
网络服务器与FPM之间采用多进程模式,处理客户端发送的HTTP请求。参见图1,图1是根据本发明实施例的HTTP请求的处理过程的示意图。其中包括客户端、网络服务器和子进程。
客户端向网络服务器发送HTTP请求,网络服务器通过FastCgi将HTTP请求发送至FPM的子进程进行处理。具体来说,FPM通过创建一个主进程,在主进程中创建并进行监听,然后复刻出多个子进程,这些子进程各自接收HTTP请求。子进程在处理完接收到的HTTP请求之后,才可以接收并处理下一个HTTP请求。若上一个HTTP请求未完成处理,则子进程无法处理下一个HTTP请求。由于一部分HTTP请求会消耗较多的处理时间,通过PHP发送的HTTP请求发生超时的可能性比较大。
为了解决通过PHP发送的HTTP请求发生超时的可能性比较大的技术问题,可以采用以下本发明实施例中的技术方案。
参见图2,图2是根据本发明实施例的分配任务的***的主要结构的示意图,具体包括客户端、任务调度器和工作节点。客户端与任务调度器耦合;任务调度器与工作节点耦合。
具体来说,客户端A1和客户端A2分别于任务调度器A耦合。任务调度器A分别与工作节点1、工作节点2、工作节点3、工作节点4、工作节点5、工作节点6耦合。任务调度器A与数据库A耦合。
客户端B1和客户端B2分别于任务调度器B耦合。任务调度器B分别与工作节点1、工作节点2、工作节点3、工作节点4、工作节点5、工作节点6耦合。任务调度器B与数据库B耦合。
可以理解的是,任务调度器可以连接多个客户端;任务调度器可以连接一个或多个数据库;任务调度器可以连接多个工作节点。同一个工作节点可以同时注册多个任务调度器,则一个工作节点可以连接一个或多个任务调度器。工作节点与任务调度器直接通过心跳机制保持连接。心跳机制是定时发送一个自定义的结构体即心跳包,让任务调度器知道自己还活着,以确保连接的有效性的机制。这样,在工作节点空闲的情况下,可以由多个任务调度器中的一个任务调度器调度以处理任务。
在本发明的实施例中,生产环境中在多机房部署多个任务调度器,保证每个客户端HTTP请求都可以得到及时处理。示例性的,客户端从任务调度器列表中随机获取一个任务调度器的IP地址。其中,任务调度器包括多个任务调度器的IP地址。客户端通过ping函数确定随机获取IP地址的任务调度器是否可用;若该任务调度器不可用,则再从任务调度器列表中随机再获取一个任务调度器的IP地址。然后,按照本发明实施例的技术方案将HTTP请求的任务通过任务调度器发送至工作节点进行处理。
在采用PHP请求任务调度器处理HTTP请求的任务。HTTP请求的任务可包括两个类型,一种是异常处理任务,另一种是同步处理任务。
异步处理任务包括不需要客户端等待处理结果的任务。作为一个示例,异步处理任务包括以下一种或多种任务:订单处理,批量邮件,通知消息,群发短信和日志聚集。
同步处理任务包括需要客户端等待处理结果的任务。作为一个示例,同步处理任务包括生成缩略图和/或图片裁剪。
任务调度器接收客户端发送的HTTP请求的任务。将HTTP请求的任务分配至工作节点,并监听工作节点的任务处理结果。
具体来说,在HTTP请求的任务是异步处理任务的情况下,则将HTTP请求的任务分配至工作节点进行异步处理。在HTTP请求的任务是同步处理任务的情况下,则将HTTP请求的任务分配至工作节点进行同步处理。
工作节点负责处理HTTP请求的任务。对于异步处理任务,进行异步处理。异步处理结果无需返回至客户端,在完成异步处理后,直接向任务调度器发送完成消息即可。目的在于,告知任务调度器已完成异步处理任务。
对于同步处理任务,工作节点进行同步处理。考虑到客户端等待同步处理结果,任务调度器可以将同步处理任务分配至计算能力较强的工作节点处理。完成同步处理任务后工作节点需要向客户端反馈同步处理结果。同步处理结果通过任务调度器转发至客户端。
在本发明的一个实施例中,为了避免丢失尚未完成处理的HTTP请求的任务。还可以将HTTP请求的任务存储在数据库中,数据库可以是Redis数据库。在遇到突发情况下,如:任务调度器重启或任务调度器意外崩溃。在重启任务调度器时,任务调度器可以从数据库中加载HTTP请求的任务。
在上述实施例中,任务调度器将HTTP请求的任务分配至工作节点。工作节点负责处理异步处理任务和/或同步处理任务。针对异步处理任务,直接向任务调度器发送完成消息;针对同步处理任务,将同步处理结果发送至客户端。多个工作节点可以分别同时处理异步处理任务和同步处理任务,不同任务的处理进度并不影响其他任务的处理。进而加快处理异步处理任务和/或同步处理任务的速度,减少处理HTTP请求的处理时间,因此通过PHP发送的HTTP请求发生超时的可能性较小。进而迅速响应客户端的HTTP请求,大幅提升用户体验感受。
下面结合附图,分别示例性说明分配异步处理任务和分配同步处理任务。
参见图3,图3是根据本发明实施例的分配异步处理任务的时序图。
图3中,客户端采用PHP发起HTTP请求的异步处理任务,并将异步处理任务通过任务调度器和任务守护进程分配至工作节点,由工作节点处理异步处理任务。任务守护进程是PHP以CLI模式启动的PHP守护进程,负责与工作节点的通信以及子进程的创建。CLI模式即PHP命令行接口。任务调度器通过任务守护进程监听工作节点的任务处理结果。
S301、异步消息。
客户端通过HTTP请求发起一个新任务(SUBMIT_JOB_BG),将异步处理任务提交到任务调度器。
S302、空闲。
任务守护进程通过空闲(CAN_DO)消息,注册到任务调度器上。
S303、请求任务。
任务守护进程发起请求任务(GRAB_JOB)消息,要求分派任务。
S304、任务创建成功。
任务调度器异步回复客户端任务创建成功(JOB_CREATED)消息,提示客户端创建任务成功。
S305、无任务。
如果任务调度器没有任务可分派,则返回无任务(NO_JOB)消息,通知工作节点无任务。
S306、断开连接。
由于客户端通过HTTP请求发起的任务是异步处理任务,对于异步处理任务,客户端无需等待处理结果。由于客户端无需等待处理结果,则为了避免客户端与任务调度器保持连接耗费资源,在S304之后,就可以断开客户端与任务调度器之间的连接。客户端断开与任务调度器的连接(DISCONNET)。
S307、休眠。
任务守护进程收到NO_JOB后,进入休眠状态。同时发送PRE_SLEEP消息至任务调度器,告知任务调度器:如果有任务的话,请用NOOP唤醒。
S308、NOOP
任务调度器发送NOOP消息至任务守护进程。
S309、请求任务
任务调度器接收到NOOP消息后,发送GRAB_JOB向任务调度器请求任务。
S310、分配任务。
当前异步处理任务未被处理,则任务调度器把异步处理任务派发至任务守护进程,向任务守护进程发送JOB_ASSIGN消息。
S311、创建任务。
任务守护进程接收到JOB_ASSIGN消息后,在PHP的CLI模式下复刻子进程,并一直监听子进程的状态
S312、任务完成。
工作节点的子进程在接收到父进程的上下文环境变量情况下,进行相应业务逻辑处理,以处理异步处理任务。
S313、任务完成。
任务守护进程监听到工作节点的子进程处理完任务后,发送WORK_COMPLETE消息给任务调度器,告知异步处理任务已完成。同时会复刻新的子进程以处理后续分配的任务。
在上述图3的实施例中,客户端将异步处理任务通过任务调度器和任务守护进程发送至工作节点,工作节点负责处理异步处理任务。由于是异步处理任务,客户端无需等待异步处理结果,在异步处理任务创建成功后,断开客户端与任务调度器之间的连接,避免浪费资源。
参见图4,图4是根据本发明实施例的分配同步处理任务的时序图。
图4中,客户端在采用PHP发起HTTP请求的处理任务,并将同步处理任务通过任务调度器和任务守护进程分配至工作节点,由工作节点处理同步处理任务。
S401、空闲。
任务守护进程通过空闲(CAN_DO)消息,注册到任务调度器上。
S402、请求任务。
任务守护进程发起请求任务(GRAB_JOB)消息,要求分派任务。
S403、无任务。
如果任务调度器没有任务可分派,则返回无任务(NO_JOB)消息,通知工作节点无任务。
S404、休眠。
任务守护进程收到NO_JOB后,进入休眠状态。同时发送PRE_SLEEP消息至任务调度器,告知任务调度器:如果有任务的话,请用NOOP唤醒。
S405、提交任务。
客户端通过HTTP请求发起一个新任务(SUBMIT_JOB_BG),将同步处理任务提交到任务调度器。
S406、任务创建成功。
任务调度器同步回复客户端任务创建成功(JOB_CREATED)消息,提示客户端创建任务成功。
S407、NOOP
任务调度器发送NOOP消息至任务守护进程。
S408、请求任务
任务调度器接收到NOOP消息后,发送GRAB_JOB向任务调度器请求任务。
S409、获取状态。
获取任务调度器状态,任务调度器处于连接状态,则说明任务调度器可以发送同步处理任务的处理结果。由于客户端与任务调度器连接,客户端可以通过上述连接向任务调度器查询同步处理任务的处理状态。客户端能够及时获知同步处理任务的进度。
S410、分配任务。
当前同步处理任务未被处理,则任务调度器把同步处理任务派发至任务守护进程,向任务守护进程发送JOB_ASSIGN消息。
S411、创建任务。
任务守护进程接收到JOB_ASSIGN消息后,在PHP的CLI模式下复刻子进程,并一直监听子进程的状态
S412、反馈状态结果
任务调度器向客户端反馈状态结果。以确保任务调度器与客户端正常连接。
S413、任务完成。
工作节点的子进程在接收到父进程的上下文环境变量情况下,进行相应业务逻辑处理,以处理同步处理任务。
S414、任务完成。
任务守护进程监听到工作节点的子进程处理完任务后,发送WORK_COMPLETE消息给任务调度器,告知同步处理任务已完成。同时会复刻新的子进程以处理后续分配的任务。
S415、任务完成。
任务调度器告知终端同步处理任务已完成,并向客户端反馈处理结果。
S416、断开连接。
客户端接收到处理结果之后,断开客户端与任务调度器之间的连接。
在上述图4的实施例中,客户端将同步处理任务通过任务调度器和任务守护进程发送至工作节点,工作节点负责处理同步处理任务。由于是同步处理任务,客户端需等待同步处理结果,在S406之后维持客户端与任务调度器的连接,以等待同步处理任务的处理结果。在接收到同步处理结果后,再断开客户端与任务调度器之间的连接。
图3的实施例用于处理异步处理任务,图4的实施例用于处理同步处理任务。由于客户端无需等待异步处理结果,因而在任务创建成功后,可以断开客户端与任务调度器之间的连接;由于客户端需要等待同步处理任务的处理结果,因而在客户端接收到同步处理结果之后,再断开客户端与任务调度器之间的连接。
参见图5,图5是根据本发明实施例的监控的示意图。可以实时获取任务调度器的工作状态和工作节点的工作状态。
在本发明的一个实施例中,***还可以包括监控节点,用于监控任务调度器的状态和工作节点的状态。
示例性的,图5中以任务调度器的IP地址区别不同的任务调度器。Queue中数值是对应任务中尚未完成任务的数目;Running中数值是对应任务中正在执行任务的工作节点的数目;Capable中数值是对应任务中可用工作节点的数目。可见,图5中示出3个任务调度器的工作状态。
图5中以工作节点的IP地址区别不同的工作节点。其中,示出3个工作节点的工作状态。在每个工作节点的工作状态中,包括该工作节点的IP地址,该工作节点所连接任务调度器的IP地址,执行处理任务的名称,以及执行该处理任务的子线程数。
图5中任务调度器的工作状态,是基于任务调度器发送的以下信息构成的:未完成任务的数目、正在执行任务的工作节点的数目和可用工作节点的数目。即,任务调度器的状态包括任务调度器的IP地址、未完成任务的数目、正在执行所述任务的工作节点的数目和可用工作节点数目。
图5中工作节点的工作状态,是基于工作节点发送的以下信息构成的:工作节点的IP地址,工作节点所连接任务调度器的IP地址,执行任务的名称和执行任务的子线程数。即,工作节点的状态包括:工作节点的IP地址,工作节点所连接任务调度器的IP地址,执行任务的名称和执行任务的子线程数。
在图5中可以清楚获知每个任务调度器和每个工作节点的工作状态,从而可以及时获知每个任务调度器和每个工作节点的状态。
采用本发明实施例中的技术方案后,针对某一接口进行统计。由于该接口的TP99可以维持在6毫秒(ms)左右,而采用现有技术处理HTTP请求,则TP99通常高达几秒。可见,本发明实施例的技术方案具有较高的稳定性和处理效率。
其中,TP99是指在一个时间段内(如5分钟),统计采用本发明示例中的技术方案每次调用所消耗的时间,并将这些时间按从小到大的顺序进行排序,取第99%的值作为TP99值。配置TP99值对应的报警阀值后,需要保证在上述时间段内所有调用的消耗时间至少有99%的值要小于此阀值,否则***将会报警。
此外,在利用本发明实施例中的技术方案的基础上进行压测,针对单机包括4核CPU和8G内存的容器,在并发数为100的情况下,持续5分钟,TP99是159ms,TPS2172。而采用现有技术,通常TPS很难超过600。其中,并发数是指同时访问服务器站点的连接数。压测,是确立***稳定性的测试方法,通常在***正常运作范围之外进行,以考察其功能极限和隐患。
参见图6,图6是根据本发明实施例的分配任务的方法的主要流程的示意图。任务调度器可以执行分配任务的方法,如图6所示,分配任务的方法具体包括:
S601、接收客户端发送的,采用PHP请求,处理HTTP请求的任务。
S602、将HTTP请求的任务分配至工作节点,并监听工作节点的任务处理结果。
在本发明的一个实施例中,分配任务的方法还包括:将HTTP请求的任务存储在数据库中。
处理HTTP请求的任务之前,还包括:
重启时,从数据库中加载HTTP请求的任务。
在本发明的一个实施例中,接收客户端发送的采用PHP请求,处理HTTP请求的任务,包括:
接收客户端发送的,采用PHP以异步方式请求,处理HTTP请求的任务后,断开与客户端的连接。
或,
接收客户端发送的,采用PHP以同步方式请求,处理HTTP请求的任务后,维持与客户端的连接,以等待HTTP请求的任务的处理结果。
在本发明的一个实施例中,还包括:通过上述连接接收HTTP请求的任务的处理状态的查询。
图7示出了可以应用本发明实施例的分配任务的方法或分配任务的***的示例性***架构700。
如图7所示,***架构700可以包括终端设备701、702、703,网络704和服务器705。网络704用以在终端设备701、702、703和服务器705之间提供通信链路的介质。网络704可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备701、702、703通过网络704与服务器705交互,以接收或发送消息等。终端设备701、702、703上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备701、702、703可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器705可以是提供各种服务的服务器,例如对用户利用终端设备701、702、703所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理,并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。
需要说明的是,本发明实施例所提供的分配任务的方法一般由服务器705执行,相应地,分配任务的***一般设置于服务器705中。
应该理解,图7中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
下面参考图8,其示出了适于用来实现本发明实施例的终端设备的计算机***800的结构示意图。图8示出的终端设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示,计算机***800包括中央处理单元(CPU)801,其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中,还存储有***800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805:包括键盘、鼠标等的输入部分806;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807;包括硬盘等的存储部分808;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器810上,以便于从其上读出的计算机程序根据需要被安装入存储部分808。
特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分809从网络上被下载和安装,和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时,执行本发明的***中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中,例如,可以描述为:一种处理器包括发送单元、获取单元、确定单元和第一处理单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,发送单元还可以被描述为“向所连接的服务端发送图片获取请求的单元”。
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:
接收客户端发送的,采用超文本预处理器PHP请求,处理超文本传输协议HTTP请求的任务;
将所述HTTP请求的任务分配至工作节点,并监听所述工作节点的任务处理结果。
根据本发明实施例的技术方案,因为采用PHP请求任务调度器处理HTTP请求的任务。将任务分配至工作节点,并监听工作节点的任务处理结果。工作节点用于处理任务。由于工作节点可以迅速处理任务,加快处理任务的速度,减少处理HTTP请求的处理时间,因此通过PHP发送的HTTP请求发生超时的可能性较小。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

Claims (10)

1.一种分配任务的***,其特征在于,所述***包括:客户端、一个或多个任务调度器和一个或多个工作节点;
所述客户端与所述任务调度器耦合,所述任务调度器与所述一个或多个工作节点耦合;
所述客户端,用于采用超文本预处理器PHP请求所述任务调度器处理超文本传输协议HTTP请求的任务;
所述任务调度器,用于接收所述任务,将所述任务分配至所述工作节点,并监听所述工作节点的任务处理结果;
所述工作节点,用于处理所述任务。
2.根据权利要求1所述分配任务的***,其特征在于,所述任务调度器还用于,将所述HTTP请求的任务存储在数据库中;
重启所述任务调度器时,从所述数据库中加载所述HTTP请求的任务。
3.根据权利要求1所述分配任务的***,其特征在于,所述客户端采用PHP以异步方式请求所述任务调度器处理所述任务,在将所述任务发送至所述任务调度器后,断开与所述任务调度器的连接;
或,
所述客户端采用PHP以同步方式请求所述任务调度器处理所述任务,在将所述任务发送至所述任务调度器后,维持与所述任务调度器的连接,以等待所述任务的处理结果。
4.根据权利要求3所述分配任务的***,其特征在于,所述客户端采用PHP以同步方式请求所述任务调度器处理所述任务的情况下,
所述客户端通过所述连接向所述任务调度器查询所述任务的处理状态。
5.根据权利要求1所述分配任务的***,其特征在于,所述***还包括监控节点,用于监控所述任务调度器的状态和所述工作节点的状态,
所述工作节点的状态包括所述工作节点的IP地址、工作节点所连接任务调度器的IP地址,执行所述任务的名称和执行所述任务的子线程数;
所述任务调度器的状态包括所述任务调度器的IP地址、未完成任务的数目、正在执行所述任务的工作节点的数目和可用工作节点数目。
6.一种分配任务的方法,其特征在于,包括:
接收客户端发送的,采用超文本预处理器PHP请求,处理超文本传输协议HTTP请求的任务;
将所述HTTP请求的任务分配至工作节点,并监听所述工作节点的任务处理结果。
7.根据权利要求6所述分配任务的方法,其特征在于,所述方法还包括:
将所述HTTP请求的任务存储在数据库中;
所述处理HTTP请求的任务之前,还包括:
重启时,从所述数据库中加载所述HTTP请求的任务。
8.根据权利要求6所述分配任务的方法,其特征在于,所述接收客户端发送的采用PHP请求,处理HTTP请求的任务,包括:
接收客户端发送的,采用PHP以异步方式请求,处理所述任务后,断开与所述客户端的连接;
或,
接收客户端发送的,采用PHP以同步方式请求,处理所述任务后,维持与所述客户端的连接,以等待所述任务的处理结果。
9.一种分配任务的电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求6-8中任一所述的方法。
10.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求6-8中任一所述的方法。
CN201910816194.5A 2019-08-30 2019-08-30 分配任务的***、方法、设备和计算机可读介质 Pending CN112448977A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910816194.5A CN112448977A (zh) 2019-08-30 2019-08-30 分配任务的***、方法、设备和计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910816194.5A CN112448977A (zh) 2019-08-30 2019-08-30 分配任务的***、方法、设备和计算机可读介质

Publications (1)

Publication Number Publication Date
CN112448977A true CN112448977A (zh) 2021-03-05

Family

ID=74734663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910816194.5A Pending CN112448977A (zh) 2019-08-30 2019-08-30 分配任务的***、方法、设备和计算机可读介质

Country Status (1)

Country Link
CN (1) CN112448977A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191607A (zh) * 2021-04-20 2021-07-30 北京异乡旅行网络科技有限公司 任务监管方法、装置及***
CN114696888A (zh) * 2022-04-25 2022-07-01 北京航天驭星科技有限公司 卫星测运控***的端口任务处理方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102685173A (zh) * 2011-04-14 2012-09-19 天脉聚源(北京)传媒科技有限公司 一种异步任务分发***及调度分发计算单元
US20130198358A1 (en) * 2012-01-30 2013-08-01 DoDat Process Technology, LLC Distributive on-demand administrative tasking apparatuses, methods and systems
CN104253850A (zh) * 2014-01-07 2014-12-31 深圳市华傲数据技术有限公司 一种任务分布式调度方法和***
CN104539645A (zh) * 2014-11-28 2015-04-22 百度在线网络技术(北京)有限公司 一种用于处理http请求的方法与设备
CN108733461A (zh) * 2017-04-18 2018-11-02 北京京东尚科信息技术有限公司 分布式任务调度方法和装置
CN109656706A (zh) * 2018-12-25 2019-04-19 江苏满运软件科技有限公司 分布式任务调度方法、***、设备以及介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102685173A (zh) * 2011-04-14 2012-09-19 天脉聚源(北京)传媒科技有限公司 一种异步任务分发***及调度分发计算单元
US20130198358A1 (en) * 2012-01-30 2013-08-01 DoDat Process Technology, LLC Distributive on-demand administrative tasking apparatuses, methods and systems
CN104253850A (zh) * 2014-01-07 2014-12-31 深圳市华傲数据技术有限公司 一种任务分布式调度方法和***
CN104539645A (zh) * 2014-11-28 2015-04-22 百度在线网络技术(北京)有限公司 一种用于处理http请求的方法与设备
CN108733461A (zh) * 2017-04-18 2018-11-02 北京京东尚科信息技术有限公司 分布式任务调度方法和装置
CN109656706A (zh) * 2018-12-25 2019-04-19 江苏满运软件科技有限公司 分布式任务调度方法、***、设备以及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191607A (zh) * 2021-04-20 2021-07-30 北京异乡旅行网络科技有限公司 任务监管方法、装置及***
CN114696888A (zh) * 2022-04-25 2022-07-01 北京航天驭星科技有限公司 卫星测运控***的端口任务处理方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN108737270B (zh) 一种服务器集群的资源管理方法和装置
CN107729139B (zh) 一种并发获取资源的方法和装置
CN108733461B (zh) 分布式任务调度方法和装置
CN110413384B (zh) 延时任务处理方法及装置、存储介质、电子设备
CN109656690A (zh) 调度***、方法和存储介质
CN109766172B (zh) 一种异步任务调度方法以及装置
US9323591B2 (en) Listening for externally initiated requests
CN115004673A (zh) 消息推送方法、装置、电子设备及计算机可读介质
WO2021159831A1 (zh) 编程平台的用户代码运行方法及平台、节点、设备、介质
CN114138500B (zh) 资源调度***及方法
CN110806928A (zh) 一种作业提交方法及***
CN107066339A (zh) 分布式作业管理器及分布式作业管理方法
CN111597033A (zh) 一种任务调度方法和装置
CN112448977A (zh) 分配任务的***、方法、设备和计算机可读介质
CN113821506A (zh) 用于任务***的任务执行方法、装置、***、服务器和介质
CN105373563B (zh) 数据库切换方法及装置
CN110113176B (zh) 用于配置服务器的信息同步方法及装置
CN111290842A (zh) 一种任务执行方法和装置
CN111835809B (zh) 工单消息分配方法、装置、服务器及存储介质
CN112711522B (zh) 一种基于docker的云测试方法、***及电子设备
CN108833147B (zh) 一种配置信息的更新方法和装置
CN113535371A (zh) 一种多线程异步加载资源的方法和装置
CN113743879A (zh) 一种自动化规则处理方法、***以及相关设备
CN115361382B (zh) 基于数据群组的数据处理方法、装置、设备和存储介质
CN116010065A (zh) 分布式任务调度方法、装置以及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination