CN115167992A - 任务处理方法、***、装置、服务器、介质及程序产品 - Google Patents

Abstract

本申请涉及一种任务处理方法、***、装置、服务器、介质及程序产品。该方法包括：响应于目标数据处理请求，检测目标数据处理请求的请求类别，若请求类别为实时请求，将目标数据处理请求对应的实时处理任务发送至读写集群中进行处理，若请求类别为准实时请求，将目标数据处理请求对应的准实时处理任务发送至只读集群中进行处理。采用本方法通过检测目标数据处理请求的请求类别，可以将不同请求类别的目标数据处理请求对应的数据处理任务发送至不同类别的服务集群进行并行处理，从而能够缩短目标数据处理请求对应的数据处理任务的处理时长，提高数据处理任务的处理速度以及处理效率。

Description

任务处理方法、***、装置、服务器、介质及程序产品

技术领域

本申请涉及计算机技术领域，特别是涉及一种任务处理方法、***、装置、服务器、介质及程序产品。

背景技术

随着互联网的快速发展，大量的数据不断产生，伴随而来的是如何安全有效地对数据进行存储、访问、管理。

相关技术中在数据处理任务较复杂时，会存在任务处理效率较低的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种任务处理方法、***、装置、服务器、介质及程序产品。

第一方面，本申请提供了一种任务处理方法，该方法包括：

响应于目标数据处理请求，检测目标数据处理请求的请求类别；请求类别包括实时请求和准实时请求；

若请求类别为实时请求，将目标数据处理请求对应的实时处理任务发送至读写集群中进行处理；

若请求类别为准实时请求，将目标数据处理请求对应的准实时处理任务发送至只读集群中进行处理；其中，只读集群的数据库中的数据为读写集群的数据库中的数据同步的。

本申请实施例通过检测目标数据处理请求的请求类别，可以将不同请求类别的目标数据处理请求对应的数据处理任务发送至不同类别的服务集群进行并行处理，从而能够缩短目标数据处理请求对应的数据处理任务的处理时长，提高数据处理任务的处理速度以及处理效率；同时，上述方法还可以快速响应目标数据处理请求，这样能够避免给实际操作业务带来响应不及时以降低用户体验的问题；另外，上述方法还可以适用于高并发、高负载、混合应用场景的数据处理任务，能够满足不同层级的业务需求。

在其中一个实施例中，读写集群包括主节点和多个备节点；

则将目标数据处理请求对应的实时处理任务发送至读写集群中进行处理，包括：

将实时处理任务划分成多个实时子任务，并将多个实时子任务发送至主节点进行处理，指示主节点按照各实时子任务的任务类型将多个实时子任务分配给主节点和多个备节点。

本申请实施例可以将实时处理任务划分成多个实时子任务，并将多个实时子任务发送至主节点，以使主节点按照任务类型将多个实时子任务分配给主节点和多个备节点，从而实现读写集群中多节点发挥并行处理的能力，在一定程度上能够缩短实时处理任务的处理时长，提高实时处理任务的处理速度和处理效率。

在其中一个实施例中，上述方法还包括：

主节点接收各备节点发送的各实时子任务的实时处理结果，将实时处理任务以及实时处理结果存储至主节点的数据库中，并将主节点的数据库中的数据同步至只读集群的数据库中。

本申请实施例可以接收各备节点发送的各实时子任务的实时处理结果，将实时处理任务以及实时处理结果存储至主节点的数据库中，并将主节点的数据库中的数据同步至只读集群的数据库中，以保证读写集群中各节点的数据一致性。

在其中一个实施例中，读写集群还包括状态监控节点；上述方法还包括：

向状态监控节点发送启动请求，指示状态监控节点监测主节点的服务状态，并在主节点的服务状态为故障状态时，从多个备节点中选取任一个备节点为新的主节点。

本申请实施例可以在读写集群中的主节点出现故障时重选选取新的主节点，以保证每时每刻均有一个主节点能够正常运行，使得读写集群中的主节点能够处理实时子任务并行处理，让用户能够及时准确接收实时子任务的处理结果，避免由于任务并行处理结果异常降低用户体验；同时，上述方法还可以避免实时子任务被重复处理，从而可以在一定程度上缩短实时子任务的并行处理时间，提高任务处理方法的可靠性。

在其中一个实施例中，只读集群包括负载均衡服务节点和只读服务单元；只读服务单元包括多个节点；

则将目标数据处理请求对应的准实时处理任务发送至只读集群中进行处理，包括：

将准实时处理任务划分成多个准实时子任务，并将多个准实时子任务分配至负载均衡服务节点进行处理，指示负载均衡服务节点将多个准实时子任务分配给只读服务单元中的多个节点。

本申请实施例可以将准实时处理任务划分成多个准实时子任务，并将多个准实时子任务发送至负载均衡服务节点，以使负载均衡服务节点将多个准实时子任务分配给只读服务单元中的多个节点，从而实现多节点发挥并行处理的能力，在一定程度上能够缩短准实时处理任务的处理时长，提高准实时处理任务的处理速度和处理效率。

在其中一个实施例中，上述方法还包括：

根据实时处理任务的实时任务量以及读写集群中备节点的总数量，确定备节点的扩容数量；

输出读写集群扩容请求，指示将读写集群中备节点的总数量扩增至备节点的扩容数量；读写集群扩容请求中携带备节点的扩容数量；和/或，

根据准实时处理任务的准实时任务量以及只读服务单元中节点的总数量，确定节点的扩容数量；

输出只读集群扩容请求，指示将只读服务单元中节点的总数量扩增至节点的扩容数量；只读集群扩容请求中携带节点的扩容数量。

本申请实施例可以根据实时处理任务的实时任务量以及读写集群中备节点的总数量，对读写集群中的备节点按需动态、灵活扩容，以更大程度上提高实时处理任务的并行处理效率，缩短实时处理任务的并行处理时间，同时还可以根据准实时处理任务的准实时任务量以及只读服务单元中节点的总数量，对只读服务单元中的节点按需动态、灵活扩容，以更大程度上提高准实时处理任务的并行处理效率，缩短准实时处理任务的并行处理时间。

第二方面，本申请提供了一种任务处理***，该***包括应用服务节点、读写集群和只读集群；

应用服务节点，用于响应于目标数据处理请求，检测目标数据处理请求的请求类别，在确定请求类别为实时请求时，将目标数据处理请求对应的实时处理任务发送至读写集群中进行处理，在确定请求类别为准实时请求时，将目标数据处理请求对应的准实时处理任务发送至只读集群中进行处理；其中，只读集群的数据库中的数据为读写集群的数据库中的数据同步的。

第三方面，本申请提供了一种任务处理装置，该装置包括：

请求响应模块，用于响应于目标数据处理请求，检测目标数据处理请求的请求类别；请求类别包括实时请求和准实时请求；

第一发送模块，用于在请求类别为实时请求时，将目标数据处理请求对应的实时处理任务发送至读写集群中进行处理；

第二发送模块，用于在请求类别为准实时请求时，将目标数据处理请求对应的准实时处理任务发送至只读集群中进行处理；其中，只读集群的数据库中的数据为读写集群的数据库中的数据同步的。

第四方面，本申请提供了一种服务器，该服务器包括存储器和处理器，存储器存储有计算机程序，该处理器执行计算机程序时实现上述第一方面的任一实施例中方法的步骤。

第五方面，本申请提供了一种可读存储介质。该可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述第一方面的任一实施例中方法的步骤。

附图说明

图1为一个实施例中任务处理方法的应用场景图；

图2为一个实施例中任务处理方法的流程示意图；

图3为另一个实施例中对读写集群中的备节点和/或只读服务单元中的节点进行扩容的方法流程示意图；

图4为一个实施例中任务处理装置的结构框图；

图5为一个实施例中分布式***中***服务器的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的任务处理方法，可以适用于图1所示的应用场景，图1中包括多个计算机设备和任务处理***，该任务处理***包括应用服务节点、读写集群和只读集群。图1中的业务一区、业务二区、业务三区等等分别表示多个计算机设备，通过各计算机设备能够接收对应的目标数据处理请求，然后各计算机设备将接收到的目标数据处理请求发送给应用服务节点。其中，应用服务节点、读写集群和只读集群之间可以为通信连接，该通信方式可以为Wi-Fi，移动网络或蓝牙连接等等。其中，上述计算机设备可以为各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，但不限于这些。上述应用服务节点、读写集群和只读集群均可以用独立的服务器、云端或者是多个服务器组成的服务器集群来实现。

请参阅图2所示的任务处理方法的流程示意图，本申请实施例以该任务处理方法应用于任务处理***中的应用服务节点为例进行说明，该任务处理方法包括以下步骤：

S100、响应于目标数据处理请求，检测目标数据处理请求的请求类别；请求类别包括实时请求和准实时请求。

具体的，用户可以通过计算机设备输入至少一个目标数据处理请求，计算机设备接收到各目标数据处理请求后，并将各目标数据处理请求发送给应用服务节点，进一步，应用服务节点可以接收并响应各目标数据处理请求。

需要说明的是，用户可以通过语音输入、鼠标输入、键盘输入、触摸按键输入等方式向计算机设备输入至少一个目标数据处理请求。可选的，目标数据处理请求可以为购物下单请求、订单结算请求、订单编辑请求、物品价格查询请求和/或历史订单查询请求等等。可选的，目标数据处理请求中可以携带标识和请求信息。可选的，订单编辑请求可以为订单中信息的更新、增加、删除等请求。

其中，目标数据处理请求中的请求标识和请求信息均可以区分目标数据处理请求的请求类别为实时请求还是准实时请求。可选的，请求标识可以为数字、字母和/或特殊符号组成的一串字符。可选的，请求信息可以理解为需要任务处理***实现数据处理服务的相关信息，如下单信息、订单信息、物品价格信息等等。

可以理解的是，应用服务节点可以检测目标数据处理请求中的标识，确定目标数据处理请求为实时请求还是准实时请求。其中，目标数据处理请求中的购物下单请求、订单结算请求、物品价格查询请求和订单编辑请求可以称为实时请求，目标数据处理请求中的历史订单查询请求可以称为准实时请求。

S200、若请求类别为实时请求，将目标数据处理请求对应的实时处理任务发送至读写集群中进行处理。

具体的，若应用服务节点检测到目标数据处理请求的请求类别为实时请求时，可以将目标数据处理请求对应的实时处理任务发送给读写集群，读写集群接收并响应实时处理任务，对实时处理任务进行处理。

需要说明的是，应用服务节点可以接收多个目标数据处理请求。其中，同一时刻，应用服务节点可以响应多个目标数据处理请求，将多个目标数据处理请求对应的实时处理任务发送给读写集群。

可以理解的是，任务处理***中的读写集群可以包括多个服务器，读写集群中至少一个服务器可以接收应用服务节点发送的目标数据处理请求对应的实时处理任务。

S300、若请求类别为准实时请求，将目标数据处理请求对应的准实时处理任务发送至只读集群中进行处理；其中，只读集群的数据库中的数据为读写集群的数据库中的数据同步的。

具体的，若应用服务节点检测到目标数据处理请求的请求类别为准实时请求时，可以将目标数据处理请求对应的准实时处理任务发送给只读集群，只读集群接收并响应目标数据处理请求对应的准实时处理任务，对准实时处理任务进行处理。

可选的，任务处理***中的只读集群也可以包括多个服务器，只读集群中至少一个服务器可以接收应用服务节点发送的目标数据处理请求对应的准实时处理任务。

在本申请实施例中，读写集群可以将接收到的实时处理任务或者任务处理结果均存储在自己的数据库中。同时，读写集群可以将自己数据库中的所有数据均同步至只读集群的数据库中。可选的，上述数据库可以为关系数据库(如MySQL、MariaDB数据库等)、非关系型数据库(如Cassandra、MongoDB数据库等)、键值数据库(如Dynamo、LevelDB数据库等)，当然不限于这些类型。但在本申请实施例中，为了实现任务处理***的高可用性，上述数据库为关系数据库中的postgresql数据库。

上述任务处理方法中，应用服务节点可以响应于目标数据处理请求，检测目标数据处理请求的请求类别，若请求类别为实时请求，将目标数据处理请求对应的实时处理任务发送至读写集群中进行处理，若请求类别为准实时请求，将目标数据处理请求对应的准实时处理任务发送至只读集群中进行处理；上述任务处理方法通过检测目标数据处理请求的请求类别，可以将不同请求类别的目标数据处理请求对应的数据处理任务发送至不同类别的服务集群进行并行处理，从而能够缩短目标数据处理请求对应的数据处理任务的处理时长，提高数据处理任务的处理速度以及处理效率；同时，上述方法还可以快速响应目标数据处理请求，这样能够避免给实际操作业务带来响应不及时以降低用户体验的问题；另外，上述方法还可以适用于高并发、高负载、混合应用场景的数据处理任务，能够满足不同层级的业务需求。

为了提高数据任务处理效率，读写集群中可以部署多个服务器，基于此，在一实施例中，上述读写集群包括主节点和多个备节点；则上述S200中将目标数据处理请求对应的实时处理任务发送至读写集群中进行处理的步骤，可以包括：将目标数据处理请求对应的实时处理任务划分成多个实时子任务，并将多个实时子任务发送至主节点进行处理，指示主节点按照各实时子任务的任务类型将多个实时子任务分配给主节点和多个备节点。

具体的，读写集群中可以包括多个节点，即多个服务器。读写集群中每个节点的功能均可以为任务划分功能和任务处理功能，当然还可以有其它功能，对此本申请实施例不做限定。可选的，读写集群中每个节点可以执行相同的功能，也可以执行不同的功能。

可选的，读写集群可以采用主备选举策略从多个节点中选举其中一个节点为主节点，将其它节点确定为备节点。可选的，主备选举策略可以为分布式***选举算法，还可以为分布式协调服务(如ZooKeeper)，当然，还可以为用户自定义的任意选举策略。可选的，分布式***选举算法可以为Bully算法、Raft算法和/或ZAB算法等等。

可以理解的是，主节点可以将目标数据处理请求对应的实时处理任务划分成多个实时子任务。可选的，实时子任务的总数量可以小于等于读写集群中备节点的总数量。需要说明的是，读写集群中的主节点具有接收实时子任务、处理实时子任务、向读写集群中的备节点分配实时子任务、存储实时子任务和任务处理结果的功能。但在本申请实施例中，读写集群中的主节点可以处理实时子任务中的信息处理任务(如购物下单请求、订单结算请求和订单编辑请求等对应的实时子任务)，备节点可以处理实时子任务中的信息查询任务(如物品价格查询请求等对应的实时子任务)。其中，实时子任务中携带有任务标识，用于区分实时子任务的类型。

需要说明的是，应用服务节点可以对目标数据处理请求对应的实时处理任务进行平均划分或随机划分，得到与读写集群中备节点的总数量相同或不同的多个实时子任务。当然，应用服务节点还可以按照任务类型或用户自定义的划分策略，对获取到的实时处理任务进行划分，得到与读写集群中备节点的总数量相同或不同的多个实时子任务；该情况下，得到的每个实时子任务中的待处理数据量可以相等，也可以不相等。

其中，只有采用平均划分方式得到的每个实时子任务中的待处理数据量是相等的；若采用上述其它划分方式得到的每个实时子任务中的待处理数据量可以相等，也可以不相等，对此不做限定。

可选的，用户自定义的划分策略可以为按照不同时间段划分的方式、按照实时处理任务中的待处理数据量划分的方式、按照用户名划分的任务类型，当然，还可以为根据其它信息确定的方式，对此不做限定。

在本申请实施例中，对实时处理任务进行划分得到的多个实时子任务均不相等，以保证实时处理任务中的每个待处理数据仅被处理一次，避免重复处理。

其中，读写集群中的主节点可以将多个实时子任务同步分配至读写集群中的不同的备节点，还可以采用异步分配方式，将多个实时子任务异步分配至读写集群中的不同的备节点。其中，异步分配的方式可以为按照预设时间间隔依次将不同实时子任务分配至读写集群中的不同备节点的过程，还可以为按照各实时子任务的分配结束时间，将下一实时子任务分配至读写集群中的未运行的任一备节点，直到分配完所有实时子任务为止的过程，当然，还可以为按照任意顺序，依次将不同实时子任务分配至读写集群中的不同备节点的过程，对此方式本申请实施例不做限定。

进一步，读写集群中的各备节点在接收到对应的实时子任务后，可以对接收到的实时子任务进行处理，以让读写集群中的所有备节点协同作用，并行处理多个实时子任务，以实现实时处理任务的处理。可选的，该处理可以理解为实时处理，如订单结算处理、订单编辑处理等等。

为了保证读写集群中各节点的数据一致性，需要将读写集群中备节点存储的数据同步至主节点中，因此，在则一实施例中，上述任务处理方法还可以包括如下步骤：主节点接收各备节点发送的各实时子任务的实时处理结果，将实时处理任务以及实时处理结果存储至主节点的数据库中，并将主节点的数据库中的数据同步至只读集群的数据库中。

还可以理解的是，读写集群中的各备节点接收到主节点发送的实时子任务后，并对接收到的实时子任务进行处理得到实时处理结果。进一步，各备节点可以将各自的实时处理结果发送至主节点，主节点接收到各备节点发送的各实时子任务的实时处理结果后，可以将接收到的所有实时处理结果存储至主节点的数据库中。可选的，主节点接收到实时子任务时，就可以将实时子任务存储至自己的数据库中。

同时，为了使只读集群提供准实时响应服务，需要让读写集群中主节点的数据库中的数据同步至只读集群的数据库中，因此，在主节点的数据库中存储有实时子任务和实时任务处理结果后，可以将主节点的数据库中存储的实时子任务和实时任务处理结果同步至只读集群的数据库中，或者，在主节点的数据库中存储了实时子任务后，先将主节点的数据库中存储的实时子任务实时同步至只读集群的数据库中，然后在主节点的数据库中存储了实时任务处理结果后，再将主节点的数据库中存储的实时任务处理结果实时同步至只读集群的数据库中。可选的，上述数据库中的数据同步的方式可以为流复制方式。

可选的，主节点的数据库中除了存储有实时子任务和实时任务处理结果外，还可以存储备节点的总数量、主节点的属性信息等等。

上述任务处理方法可以将实时处理任务划分成多个实时子任务，并将多个实时子任务发送至主节点，以使主节点按照任务类型将多个实时子任务分配给主节点和多个备节点，从而实现读写集群中多节点发挥并行处理的能力，在一定程度上能够缩短实时处理任务的处理时长，提高实时处理任务的处理速度和处理效率。

在读写集群处理实时子任务的过程中，读写集群中的主节点可能会出现故障的情况，为了避免实时子任务被重复处理，每时每刻就需要保证读写集群中有一个主节点要正常运行，因此，在读写集群处理实时子任务的过程中需要检测主节点的服务状态，根据主节点的服务状态确保读写集群中有一个正常服务的主节点。基于此，在一实施例中，读写集群还包括状态监控节点；上述任务处理方法可以还包括：向状态监控节点发送启动请求，指示状态监控节点监测主节点的服务状态，并在主节点的服务状态为故障状态时，从多个备节点中选取任一个备节点为新的主节点。

具体的，读写集群中的主节点接收到实时子任务后，可以向状态监控节点发送启动请求，以请求状态监控节点监测自己的服务状态。可选的，状态监控节点接收并响应启动请求，以开始监测主节点的服务状态。可选的，主节点的服务状态可以为正常状态，也可以为故障状态(即异常状态)。

需要说明的是，读写集群中的状态监控节点在确定主节点的服务状态为故障状态时，可以从读写集群中能够正常服务的所有节点中重新选取一个节点作为主节点，并将其它能够正常服务的节点作为读写集群中的备节点。

在本申请实施例中，读写集群中的状态监控节点在确定主节点的服务状态为故障状态时，可以从能够正常服务的多个备节点中选取任一个备节点为新的主节点，并将能够正常服务的其它备节点确定为该新的主节点的备节点。可选的，主节点出现故障的时刻可以为读写集群处理实时子任务过程中的任一时刻。可选的，状态监控节点可以通过keeplive服务实现新的主节点的选取；但在本申请实施例中，通过agent服务实现新的主节点的选取，在主节点的服务状态监测上可靠性强。

可选的，在同一时刻，读写集群中至少有两个能够正常服务的节点；若读写集群中有两个能够正常服务的节点时，其中一个节点为主节点，另一个节点为备节点。

下面将介绍状态监控节点具体如何监测主节点的服务状态以及选取新的主节点的过程，在则一实施例中，状态监控节点包括服务状态监控单元和集群状态监控单元；

其中，服务状态监控单元，用于周期性监测主节点的服务状态并将服务状态发送给集群状态监控单元；集群状态监控单元，用于在未接收到主节点的服务状态时，从多个备节点中选取任一个备节点为新的主节点。

可以理解的是，状态监控节点中的服务状态监控单元可以调用服务状态监测函数或者采用自定义的监测函数，按照预设的频率周期性的直接监测主节点的服务状态，并将获取到的主节点的服务状态实时发送给集群状态监控单元。

另外，在主节点正常服务的过程中，可以定时向主节点的数据库存储主节点的服务状态，或者周期性的更新主节点的数据库中主节点的服务状态；状态监控节点中的服务状态监控单元可以按照预设的频率周期性的从主节点的数据库中获取主节点的服务状态，若在某一时刻无法获取到主节点的服务状态时，表明当前主节点出现故障了，此时主节点的服务状态为故障状态；若始终能够周期性的从主节点的数据库中获取到主节点的服务状态，表明当前主节点未出现故障，此时主节点的服务状态为正常状态。其中，无法获取到主节点的服务状态表明主节点的数据库中主节点的服务状态为空。

在本申请实施例中，若集群状态监控单元未接收到主节点的服务状态时，可以确定当前主节点无效，也就是当前主节点出现故障了，此时需要重新选取一个新的主节点，进一步，集群状态监控单元可以从能够正常服务的多个备节点中选取任一个备节点为新的主节点，并将能够正常服务的其它备节点确定为该新的主节点的备节点。

本申请实施例能够在读写集群中的主节点出现故障时重选选取新的主节点，以保证每时每刻均有一个主节点能够正常运行，使得读写集群可以对实时子任务进行正常划分，确保实时子任务不被重复划分，从而可以提高并行处理实时子任务的结果的准确性。

上述任务处理方法可以在读写集群中的主节点出现故障时重选选取新的主节点，以保证每时每刻均有一个主节点能够正常运行，使得读写集群中的主节点能够处理实时子任务并行处理，让用户能够及时准确接收实时子任务的处理结果，避免由于任务并行处理结果异常降低用户体验；同时，上述方法还可以避免实时子任务被重复处理，从而可以在一定程度上缩短实时子任务的并行处理时间，提高任务处理方法的可靠性。

在一些场景中，根据请求类别可以将目标数据处理请求对应的数据处理任务分配至不同类型服务集群进行处理，以使不同类别的数据处理任务被分类处理，提高数据处理任务的处理效率。基于此，在一实施例中，上述任务处理***中的只读集群包括负载均衡服务节点和只读服务单元；只读服务单元包括多个节点；

则上述S300中将目标数据处理请求对应的准实时处理任务发送至只读集群中进行处理的步骤，可以包括：将准实时处理任务划分成多个准实时子任务，并将多个准实时子任务分配至负载均衡服务节点进行处理，指示负载均衡服务节点将多个准实时子任务分配给只读服务单元中的多个节点。

具体的，上述只读集群中的负载均衡服务节点可以为服务器。只读服务单元可以包括一个或多个服务器，即一个或多个节点。可选的，只读集群中负载均衡服务节点的功能可以为任务分配功能。

需要说明的是，应用服务节点可以将目标数据处理请求对应的准实时处理任务划分成多个准实时子任务，然后将多个准实时子任务发送给负载均衡服务节点，以指示负载均衡服务节点将多个准实时子任务分配给只读服务单元中的多个节点进行处理。在本申请实施例中，负载均衡服务节点具有接收准实时子任务和将准实时子任务分配至只读服务单元中各节点的功能。

在本申请实施例中，只读服务单元包括多个节点。可选的，负载均衡服务节点可以将各准实时子任务分别分配至只读服务单元中不同的节点。可选的，准实时子任务的总数量可以小于等于只读服务单元中节点的总数量。

需要说明的是，应用服务节点可以对获取到的准实时处理任务进行平均划分或随机划分，得到与只读服务单元中节点的总数量相同或不同的多个准实时子任务。当然，应用服务节点还可以按照任务类型或用户自定义的划分策略，对获取到的准实时处理任务进行划分，得到与只读服务单元中节点的总数量相同或不同的多个准实时子任务；该情况下，得到的每个准实时子任务中的待处理数据量可以相等，也可以不相等。

其中，只有采用平均划分方式得到的每个准实时子任务中的待处理数据量是相等的；若采用上述其它划分方式得到的每个准实时子任务中的待处理数据量可以相等，也可以不相等，对此不做限定。

可选的，用户自定义的划分策略可以为按照不同时间段划分的方式、按照准实时处理任务中的待处理数据量划分的方式、按照用户名划分的任务类型，当然，还可以为根据其它信息确定的方式，对此不做限定。

在本申请实施例中，对准实时处理任务进行划分得到的多个准实时子任务均不相等，以保证准实时处理任务中的每个待处理数据仅被处理一次，避免重复处理。

其中，负载均衡服务节点可以将多个准实时子任务同步分配至只读服务单元中不同的节点，还可以采用异步分配方式，将多个准实时子任务异步分配至只读服务单元中不同的节点。其中，异步分配的方式可以为按照预设时间间隔依次将不同准实时子任务分配至只读服务单元中不同节点的过程，还可以为按照各准实时子任务的分配结束时间，将下一准实时子任务分配至只读服务单元中未运行的任一节点，直到分配完所有准实时子任务为止的过程，当然，还可以为按照任意顺序，依次将不同准实时子任务分配至只读服务单元中不同节点的过程，对此方式本申请实施例不做限定。

进一步，只读服务单元中的各节点在接收到对应的准实时子任务后，可以对接收到的准实时子任务进行处理，以让只读服务单元中的所有节点协同作用，并行处理多个准实时子任务，以实现准实时处理任务的处理。可选的，该处理可以理解为历史订单查询处理、历史信息查询处理等等。

为了能够合理分配准实时子任务，在一实施例中，上述将多个准实时子任务分配给只读服务单元中的多个节点的步骤，可以包括：根据只读服务单元中各节点的负载情况，将多个准实时子任务分配给只读服务单元中的多个节点。

可以理解的是，节点的负载情况可以为节点具有待处理的负载量。可选的，负载均衡服务节点可以根据只读服务单元中各节点具有待处理的负载量占据各节点满载量的比例，将多个准实时子任务分配至只读服务单元中的多个节点。可选的，只读服务单元中的每个节点可以接收到不同的准实时子任务。其中，只读服务单元中的部分节点可能由于待处理的负载量较大不会接收到准实时子任务。

本申请实施例可以根据只读服务单元中各节点的负载情况，将多个准实时处理任务合理分配给只读服务单元中的多个节点，以保证只读服务单元中各节点在未满载的情况下，能够并行处理准实时处理任务，提高任务处理的及时率和效率。

上述任务处理方法可以将准实时处理任务划分成多个准实时子任务，并将多个准实时子任务发送至负载均衡服务节点，以使负载均衡服务节点将多个准实时子任务分配给只读服务单元中的多个节点，从而实现多节点发挥并行处理的能力，在一定程度上能够缩短准实时处理任务的处理时长，提高准实时处理任务的处理速度和处理效率。

在一些场景中，任务处理***中的应用服务节点可以接收到实时请求和/或准实时请求，为了能够极大程度上提高实时处理任务和/或准实时处理任务的处理效率，可以将读写集群中的备节点进行扩容，以及将只读集群中的节点进行扩容。因此，在一实施例中，如图3所示，上述方法还可以包括以下步骤：

S400、根据实时处理任务的实时任务量以及读写集群中备节点的总数量，确定备节点的扩容数量。

具体的，应用服务节点可以根据实时请求对应的实时处理任务的实时任务量和读写集群中备节点的总数量，确定读写集群中备节点的总数量较少，为了提高实时处理任务的处理速度和处理效率，可以对读写集群中的备节点进行扩容，以使更多的备节点并行处理实时处理任务。进一步，应用服务节点可以将实时请求对应的实时处理任务划分成与读写集群中备节点的总数量相同的多个实时子任务，并根据每个实时子任务的实时任务量确定备节点的扩容数量。

另外，读写集群中的部分备节点当前可能已经满载，此时这些备节点无法再接收实时子任务进行处理，该情况下，应用服务节点可以将实时请求对应的实时处理任务划分成与读写集群中未满载的备节点的总数量相同的多个实时子任务，并根据每个实时子任务的实时任务量确定备节点的扩容数量。

S500、输出读写集群扩容请求，指示将读写集群中备节点的总数量扩增至备节点的扩容数量；读写集群扩容请求中携带备节点的扩容数量。

具体的，应用服务节点可以输出读写集群扩容请求，以指示用户手动在读写集群中动态增加扩容数量个备节点。

需要说明的是，任务处理***还可以包括集群扩容服务器或者集群扩容云端。应用服务节点还可以将读写集群扩容请求发送给集群扩容服务器或者集群扩容云端，以指示集群扩容服务器或者集群扩容云端在读写集群中动态增加扩容数量个备节点。可选的，扩容后的所有备节点接收到的所有实时子任务的总任务量等于实时处理任务的实时任务量。

S600、根据准实时处理任务的准实时任务量以及只读服务单元中节点的总数量，确定节点的扩容数量。

具体的，应用服务节点可以根据准实时请求对应的准实时处理任务的准实时任务量和只读服务单元中节点的总数量，确定中节点的总数量较少，为了提高准实时处理任务的处理速度和处理效率，可以对只读服务单元中的节点进行扩容，以使更多的节点并行处理准实时处理任务。进一步，应用服务节点可以将准实时处理任务划分成与只读服务单元中节点的总数量相同的多个准实时子任务，并根据每个准实时子任务的准实时任务量确定只读服务单元中节点的扩容数量。

另外，只读服务单元中的部分节点当前可能已经满载，此时这些节点无法再接收准实时子任务进行处理，该情况下，应用服务节点可以将准实时处理任务划分成与只读服务单元中未满载的节点的总数量相同的多个准实时子任务，并根据每个准实时子任务的准实时任务量确定只读服务单元中节点的扩容数量。

S700、输出只读集群扩容请求，指示将只读服务单元中节点的总数量扩增至节点的扩容数量；只读集群扩容请求中携带节点的扩容数量。

具体的，应用服务节点可以输出只读集群扩容请求，以指示用户手动在只读集群中动态增加扩容数量个节点。或者，应用服务节点还可以将只读集群扩容请求发送给集群扩容服务器或者集群扩容云端，以指示集群扩容服务器或者集群扩容云端在只读集群中动态增加扩容数量个节点。

示例性的，若只读服务单元中包括3个节点，节点1、节点2和节点3，且节点1具有待处理的负载量占据节点1满载量的比例为50％、节点2和节点3为空载，则负载均衡服务节点可以将包含节点1满载量的50％的准实时子任务分配至节点1，同时，将包含节点2满载量的100％(或小于100％)的准实时子任务分配至节点2，以及将包含节点3满载量的100％(或小于100％)的准实时子任务分配至节点3。可选的，多次分配准实时子任务的先后顺序不固定，可以为任意顺序。

其中，节点1、节点2和节点3接收到的所有准实时子任务的总任务量等于准实时处理任务的任务量。若节点1、节点2和节点3接收到的所有准实时子任务的总任务量小于准实时处理任务的准实时任务量，表明只读服务单元中节点的总数量较少，该情况下，可以对只读服务单元中的节点进行扩容，以保证扩容后的所有节点接收到的所有准实时子任务的总任务量等于准实时处理任务的准实时任务量。

在本申请实施例中，若应用服务节点仅接收到多个实时请求时，可以仅执行步骤S400-S500，以对读写集群中的备节点进行扩容，来提高实时处理任务的处理效率；若应用服务节点仅接收到多个准实时请求时，可以仅执行步骤S600-S700，以对只读集群中的节点进行扩容，来提高准实时处理任务的处理效率；若应用服务节点同时接收到多个实时请求和多个准实时请求时，可以同时执行上述步骤S400-S500与步骤S600-S700，以对读写集群中的备节点进行扩容以及对只读集群中的节点进行扩容，来提高实时处理任务和准实时处理任务的处理效率。

上述任务处理方法可以根据实时处理任务的实时任务量以及读写集群中备节点的总数量，对读写集群中的备节点按需动态、灵活扩容，以更大程度上提高实时处理任务的并行处理效率，缩短实时处理任务的并行处理时间，同时还可以根据准实时处理任务的准实时任务量以及只读服务单元中节点的总数量，对只读服务单元中的节点按需动态、灵活扩容，以更大程度上提高准实时处理任务的并行处理效率，缩短准实时处理任务的并行处理时间。

为了便于本领域技术人员的理解，以执行主体为任务处理***中的应用服务节点为例介绍本申请提供的任务处理方法，具体的，该方法包括：

(1)响应于目标数据处理请求，检测目标数据处理请求的请求类别；请求类别包括实时请求和准实时请求。

(2)若请求类别为实时请求，将实时处理任务划分成多个实时子任务，并将多个实时子任务发送至读写集群中的主节点进行处理，指示读写集群中的主节点按照各实时子任务的任务类型将多个实时子任务分配给主节点和多个备节点。

其中，

(3)读写集群中的主节点接收各备节点发送的各实时子任务的实时处理结果，将实时处理任务以及实时处理结果存储至读写集群中的主节点的数据库中，并将主节点的数据库中的数据同步至只读集群的数据库中。

(4)向读写集群中的状态监控节点发送启动请求，指示状态监控节点监测主节点的服务状态，并在主节点的服务状态为故障状态时，从读写集群中的多个备节点中选取任一个备节点为新的主节点。

(5)根据实时处理任务的实时任务量以及读写集群中备节点的总数量，确定备节点的扩容数量。

(6)输出读写集群扩容请求，指示将读写集群中备节点的总数量扩增至备节点的扩容数量；读写集群扩容请求中携带备节点的扩容数量。

(7)若请求类别为准实时请求，将准实时处理任务划分成多个准实时子任务，并将多个准实时子任务分配至只读集群中的负载均衡服务节点进行处理，指示只读集群中的负载均衡服务节点根据只读集群内的只读服务单元中各节点的负载情况，将多个准实时子任务分配给只读服务单元中的多个节点。

(8)根据准实时处理任务的准实时任务量以及只读服务单元中节点的总数量，确定节点的扩容数量。

(9)输出只读集群扩容请求，指示将只读服务单元中节点的总数量扩增至节点的扩容数量；只读集群扩容请求中携带节点的扩容数量。

以上(1)至(9)的执行过程具体可以参见上述实施例的描述，其实现原理和技术效果类似，在此不再赘述。

继续参见图1所示，另一实施例提供的一种任务处理***的具体结构示意图；任务处理***包括：应用服务节点、读写集群和只读集群；

应用服务节点，用于响应于目标数据处理请求，检测目标数据处理请求的请求类别，在确定请求类别为实时请求时，将目标数据处理请求对应的实时处理任务发送至读写集群中进行处理，在确定请求类别为准实时请求时，将目标数据处理请求对应的准实时处理任务发送至只读集群中进行处理；其中，只读集群的数据库中的数据为读写集群的数据库中的数据同步的。

本申请实施例提供的任务处理***，可以执行上述任务处理方法中的实施例，其实现原理和技术效果类似，在此不再赘述。

应该理解的是，虽然图2-3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-3中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图4所示，提供了一种任务处理装置，包括：请求响应模块11、第一发送模块12和第二发送模块13，其中：

请求响应模块11，用于响应于目标数据处理请求，检测目标数据处理请求的请求类别；请求类别包括实时请求和准实时请求；

第一发送模块12，用于在请求类别为实时请求时，将目标数据处理请求对应的实时处理任务发送至读写集群中进行处理；

第二发送模块13，用于在请求类别为准实时请求时，将目标数据处理请求对应的准实时处理任务发送至只读集群中进行处理；其中，只读集群的数据库中的数据为读写集群的数据库中的数据同步的。

本申请实施例提供的任务处理装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

在其中一个实施例中，读写集群包括主节点和多个备节点；则第一发送模块12包括：第一划分单元，其中：

第一划分单元，用于将实时处理任务划分成多个实时子任务，并将多个实时子任务发送至主节点进行处理，指示主节点按照各实时子任务的任务类型将多个实时子任务分配给主节点和多个备节点。

本申请实施例提供的任务处理装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

在其中一个实施例中，第一发送模块12还包括：数据存储单元，其中：

数据存储单元，用于主节点接收各备节点发送的各实时子任务的实时处理结果，将实时处理任务以及实时处理结果存储至主节点的数据库中，并将主节点的数据库中的数据同步至只读集群的数据库中。

本申请实施例提供的任务处理装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

在其中一个实施例中，读写集群还包括状态监控节点；第一发送模块12还包括：启动请求发送单元，其中：

启动请求发送单元，用于向状态监控节点发送启动请求，指示状态监控节点监测主节点的服务状态，并在主节点的服务状态为故障状态时，从多个备节点中选取任一个备节点为新的主节点。

本申请实施例提供的任务处理装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

在其中一个实施例中，只读集群包括负载均衡服务节点和只读服务单元；只读服务单元包括多个节点；第二发送模块13包括：第二划分单元，其中：

第二划分单元，用于将准实时处理任务划分成多个准实时子任务，并将多个准实时子任务分配至负载均衡服务节点进行处理，指示负载均衡服务节点将多个准实时子任务分配给只读服务单元中的多个节点。

本申请实施例提供的任务处理装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

在其中一个实施例中，任务处理装置还包括：第一扩容数量确定模块、第一扩容请求发送模块、第二扩容数量确定模块和第二扩容请求发送模块，其中：

第一扩容数量确定模块，用于根据实时处理任务的实时任务量以及读写集群中备节点的总数量，确定备节点的扩容数量；

第一扩容请求发送模块，用于输出读写集群扩容请求，指示将读写集群中备节点的总数量扩增至备节点的扩容数量；读写集群扩容请求中携带备节点的扩容数量；和/或，

第二扩容数量确定模块，用于根据准实时处理任务的准实时任务量以及只读服务单元中节点的总数量，确定节点的扩容数量；

第二扩容请求发送模块，用于输出只读集群扩容请求，指示将只读服务单元中节点的总数量扩增至节点的扩容数量；只读集群扩容请求中携带节点的扩容数量。

本申请实施例提供的任务处理装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

关于任务处理装置的具体限定可以参见上文中对于任务处理方法的限定，在此不再赘述。上述任务处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种服务器，该服务器的内部结构图可以如图5所示。该服务器包括通过***总线连接的处理器、存储器和网络接口。其中，该服务器的处理器用于提供计算和控制能力。该服务器的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该服务器的数据库用于存储目标数据处理请求。该服务器的网络接口用于与外部的终点通过网络连接通信。该计算机程序被处理器执行时以实现一种任务处理方法。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种服务器，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

响应于目标数据处理请求，检测目标数据处理请求的请求类别；请求类别包括实时请求和准实时请求；

若请求类别为实时请求，将目标数据处理请求对应的实时处理任务发送至读写集群中进行处理；

若请求类别为准实时请求，将目标数据处理请求对应的准实时处理任务发送至只读集群中进行处理；其中，只读集群的数据库中的数据为读写集群的数据库中的数据同步的。

在一个实施例中，提供了一种可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

响应于目标数据处理请求，检测目标数据处理请求的请求类别；请求类别包括实时请求和准实时请求；

若请求类别为实时请求，将目标数据处理请求对应的实时处理任务发送至读写集群中进行处理；

若请求类别为准实时请求，将目标数据处理请求对应的准实时处理任务发送至只读集群中进行处理；其中，只读集群的数据库中的数据为读写集群的数据库中的数据同步的。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

响应于目标数据处理请求，检测目标数据处理请求的请求类别；请求类别包括实时请求和准实时请求；

若请求类别为实时请求，将目标数据处理请求对应的实时处理任务发送至读写集群中进行处理；

若请求类别为准实时请求，将目标数据处理请求对应的准实时处理任务发送至只读集群中进行处理；其中，只读集群的数据库中的数据为读写集群的数据库中的数据同步的。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种任务处理方法，其特征在于，所述方法包括：

响应于目标数据处理请求，检测所述目标数据处理请求的请求类别；所述请求类别包括实时请求和准实时请求；

若所述请求类别为所述实时请求，将所述目标数据处理请求对应的实时处理任务发送至读写集群中进行处理；

若所述请求类别为所述准实时请求，将所述目标数据处理请求对应的准实时处理任务发送至只读集群中进行处理；其中，所述只读集群的数据库中的数据为所述读写集群的数据库中的数据同步的。

2.根据权利要求1所述的任务处理方法，其特征在于，所述读写集群包括主节点和多个备节点；

则所述将所述目标数据处理请求对应的实时处理任务发送至读写集群中进行处理，包括：

将所述实时处理任务划分成多个实时子任务，并将所述多个实时子任务发送至所述主节点进行处理，指示所述主节点按照各实时子任务的任务类型将所述多个实时子任务分配给所述主节点和所述多个备节点。

3.根据权利要求2所述的任务处理方法，其特征在于，所述方法还包括：

所述主节点接收各备节点发送的各实时子任务的实时处理结果，将所述实时处理任务以及所述实时处理结果存储至所述主节点的数据库中，并将所述主节点的数据库中的数据同步至所述只读集群的数据库中。

4.根据权利要求3所述的任务处理方法，其特征在于，所述读写集群还包括状态监控节点；所述方法还包括：

向所述状态监控节点发送启动请求，指示所述状态监控节点监测所述主节点的服务状态，并在所述主节点的服务状态为故障状态时，从所述多个备节点中选取任一个备节点为新的主节点。

5.根据权利要求1-4中任一项所述的任务处理方法，其特征在于，所述只读集群包括负载均衡服务节点和只读服务单元；所述只读服务单元包括多个节点；

则所述将所述目标数据处理请求对应的准实时处理任务发送至只读集群中进行处理，包括：

将所述准实时处理任务划分成多个准实时子任务，并将所述多个准实时子任务分配至所述负载均衡服务节点进行处理，指示所述负载均衡服务节点将所述多个准实时子任务分配给所述只读服务单元中的多个节点。

6.根据权利要求1-4中任一项所述的任务处理方法，其特征在于，所述方法还包括：

根据所述实时处理任务的实时任务量以及所述读写集群中备节点的总数量，确定备节点的扩容数量；

输出读写集群扩容请求，指示将所述读写集群中备节点的总数量扩增至所述备节点的扩容数量；所述读写集群扩容请求中携带所述备节点的扩容数量；和/或，

根据所述准实时处理任务的准实时任务量以及所述只读服务单元中节点的总数量，确定节点的扩容数量；

输出只读集群扩容请求，指示将所述只读服务单元中节点的总数量扩增至所述节点的扩容数量；所述只读集群扩容请求中携带所述节点的扩容数量。

7.一种任务处理***，其特征在于，所述任务处理***包括应用服务节点、读写集群和只读集群；

所述应用服务节点，用于响应于目标数据处理请求，检测所述目标数据处理请求的请求类别，在确定所述请求类别为实时请求时，将所述目标数据处理请求对应的实时处理任务发送至所述读写集群中进行处理，在确定所述请求类别为准实时请求时，将所述目标数据处理请求对应的准实时处理任务发送至所述只读集群中进行处理；其中，所述只读集群的数据库中的数据为所述读写集群的数据库中的数据同步的。

8.一种任务处理装置，其特征在于，所述装置包括：

请求响应模块，用于响应于目标数据处理请求，检测所述目标数据处理请求的请求类别；所述请求类别包括实时请求和准实时请求；

第一发送模块，用于在所述请求类别为所述实时请求时，将所述目标数据处理请求对应的实时处理任务发送至读写集群中进行处理；

第二发送模块，用于在所述请求类别为所述准实时请求时，将所述目标数据处理请求对应的准实时处理任务发送至只读集群中进行处理；其中，所述只读集群的数据库中的数据为所述读写集群的数据库中的数据同步的。

9.一种服务器，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-6中任一项所述的任务处理方法的步骤。

10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6中任一项所述的任务处理方法的步骤。

Images