CN109254835A - 批处理任务的处理方法、装置、服务器及可读存储介质 - Google Patents

Abstract

本发明公开了一种批处理任务的处理方法、装置、服务器及可读存储介质，获取调度中心触发的批处理任务信息；利用分布式动态配置管理框架动态配置出当前批处理的任务数量和处理时长；为当前批处理的每个任务创建一个线程并放入线程池中；将所述线程池中的所有线程的执行时段均匀分布在所述处理时长中，使得在当前批处理任务中的每个任务的执行时段均匀分布在处理时长中，促使能够更平滑的处理批处理任务中的任务。

Description

批处理任务的处理方法、装置、服务器及可读存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种批处理任务的处理方法、装置、服务器及可读存储介质。

背景技术

在当前互联网程序应用架构中，会存在一些批处理任务对过去一段时间内发生的业务进行集中处理，例如基金资产的收益计算，应用捞取出来所有的基金资产对每笔资产的昨日的日收益、累计收益等进行计算，然后将计算结果写入到数据库中。而批处理任务的执行通常都是通过调度中心以及利用sofa-platform-schedule来实现的，调度中心根据设定的cron表达式定时启动批处理任务，业务代码实现sofa-platform-schedule的接口对任务拆分后并通过rpc调用方式将任务均衡地分发到服务器集群中的服务器中执行。

现有的批处理任务的处理过程以基金资产的收益计算任务为例，批处理任务每隔6秒执行一次，每次捞取300笔基金资产然后进行计算，批处理任务往往在前2秒就执行结束了，后面4秒处于空闲状态，6秒内任务执行不够平滑。

发明内容

本发明提供了一种批处理任务的处理方法、装置、服务器及可读存储介质，能够促使批处理任务的处理性能更平滑。

本申请第一方面提供了一种批处理任务的处理方法，其特征在于，包括：

获取调度中心触发的批处理任务信息；

利用分布式动态配置管理框架动态配置出当前批处理的任务数量和处理时长；

为当前批处理的每个任务创建一个线程并放入线程池中；

将所述线程池中的所有线程的执行时段均匀分布在所述处理时长中，并通过执行所有线程来处理所述当前批处理的每个任务。

本申请第二方面还提供了一种批处理任务的处理装置，其特征在于，包括：

批处理任务信息获取单元，用于获取调度中心触发的批处理任务信息；

配置单元，用于利用分布式动态配置管理框架动态配置出当前批处理的任务数量和处理时长；

线程创建单元，用于为当前批处理的每个任务创建一个线程并放入线程池中；

线程执行单元，用于将所述线程池中的所有线程的执行时段均匀分布在所述处理时长中，并通过执行所有线程来处理所述当前批处理的每个任务。

本申请第三方面还提供了一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述批处理任务的处理方法的步骤。

本申请第四方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述批处理任务的处理方法的步骤。

本发明的有益效果如下：

基于上述技术方案，通过动态配置出当前批处理任务的任务数量和处理时长，促使批处理的任务数量和处理时长与服务器集群中的服务器处理速度相匹配，提高批处理任务的处理效率；并将所有线程的执行时段均匀分布在处理时长中，使得在当前批处理任务中的每个任务的执行时段均匀分布在处理时长中，促使能够更平滑的处理批处理任务中的任务。

附图说明

图1为本发明实施例中批处理任务的处理方法的方法流程图；

图2为本发明实施例中批处理任务的处理方法的接口调用流程图；

图3为本发明实施例中批处理任务的处理装置的结构示意图；

图4为本说明书实施例中服务器的结构示意图。

具体实施方式

本说明书提供了一种批处理任务的处理方法、装置、服务器及可存储介质，能够促使批处理任务的处理性能更平滑。

为了更好的理解上述技术方案，下面通过附图以及具体实施例对本说明书实施例的技术方案做详细的说明，应当理解本说明书实施例以及实施例中的具体特征是对本说明书实施例技术方案的详细的说明，而不是对本说明书技术方案的限定，在不冲突的情况下，本说明书实施例以及实施例中的技术特征可以相互组合。

第一方面，如图1所示，本说明书实施例提供一种批处理任务的处理方法，包括以下步骤：

S102、获取调度中心触发的批处理任务信息；

调度中心旨在为业务***提供统一通用的任务调度服务，提供定时任务的管理监控平台，减轻业务***开发和后续线上运维的工作量，并通过任务拆分和负载均衡等方案提升大数据量任务的性能。

具体来讲，可以首先检测当前时间是否满足CRON表达式，若满足，则会触发处理批处理任务，从而可以获取所述调度中心触发的批处理任务信息。而在不满足的情况下，是不会触发批处理任务的。

具体地，调度中心根据应用设置的CRON表达式，检测到当前时间满足CRON表达式时，调度中心通过消息投递的方式通知应用开始执行批处理任务，此时，可以获取到调度中心发送的通知消息，即通知消息为调度中心触发的批处理任务信息；所述触发的批处理信息可以是特定的电信号。

具体的，CRON表达式：即Spring Cron表达式，字符串以5或6个空格隔开，分开工6或7个域，每一个域代表一个含义，能够指定一个时间点或者一个重复触发的时间间隔，例如0 0 10,14,16？，就是每天的10点，14点，16点整；而在本说明书中CRON表达式中重复触发的时间间隔通常以秒(s)进行设置，例如重复触发的时间间隔为2s、3s、4s不等。

例如，某个应用设置CRON表达式设重复触发批处理任务的时间间隔为4s，则获取当前时间与前一次触发批处理任务的时间之间的间隔是否达到4s；若达到4s，则满足CORN表达式，则触发批处理任务，从而可以获取所述调度中心触发的批处理任务信息。

S104、响应触发的所述批处理任务信息，利用分布式动态配置管理框架动态配置出当前批处理的任务数量和处理时长；

具体来讲，获取所有未处理的批处理任务，然后利用分布式动态配置管理框架动态配置出当前批处理的任务数量和处理时长。

具体地，在动态配置时，根据服务器集群中的服务器信息和数据库容量信息，动态配置出当前批处理的任务数量和处理时长。若服务器集群中的空闲服务器的数量越多数据库容量越大，其配置出的当前批处理的任务数量越大且处理时长越短；反之，其配置出的当前批处理的任务数量越小且处理时长越长。进一步地，由于数据库容量越小，其处理的数据量也越小其处理速度也会降低，如此，需要将批处理任务中任务的数据量与数据库容量进行匹配。

例如，批处理任务中具有100个任务，而现在服务器集群中的空闲服务器的数量为30且每个空闲服务器的数据库容量均能够满足100个任务中的至少2个任务，如此，可以利用分布式动态配置管理框架动态配置出当前批处理的任务数量为60和处理时长为1s。

如此，通过上述动态配置出的任务数量和处理时长能够随服务器集群中服务器和数据库的实际情况进行实时调整，使得任务数量和处理时长和服务器集群中的服务器处理速度相匹配，提高批处理任务的处理效率。

S106、为当前批处理的每个任务创建一个线程并放入线程池中；

为当前批处理的每个任务创建一个线程，然后将创建的所有线程放入线程池中，通过线程的执行来处理每个任务，其线程的处理是并发执行的，相互之间不会受到干扰。线程池例如可也是ScheduledThreadPoolExecutor线程池，用于确保每一个被调度的任务都会由线程池中一个线程去执行。

具体地，例如当前批处理任务为a、b、c和d 4个任务，则分别为a创建一个线程a1，为b创建一个线程b1，为c创建一个线程c1和为d创建一个线程d1，然后将创建的线程a1、b1、c1和d1都放入ScheduledThreadPoolExecutor线程池中。

S108、将所述线程池中的所有线程的执行时段均匀分布在所述处理时长中，并通过执行所有线程来处理所述当前批处理的每个任务。

具体来讲，根据所述任务数量和所述处理时长，获取当前批处理任务对应的所有线程中每个线程的执行时段，其中，所有线程的执行时段均匀分布在所述处理时长中。

具体地，由于线程对应当前批处理任务的任务数量，如此，根据所述任务数量和所述处理时长，可以将所述线程池中的所有线程的执行时段均匀分布在所述处理时长中。例如，若所述处理时长为5s，而任务数量为100，则确定每个线程的执行时段为5000ms/100＝50ms(毫秒)。

具体地，在将所述线程池中的所有线程的执行时段均匀分布在所述处理时长中，可以随机分配每个线程的执行时段，也可以根据预设规则来分配每个线程的执行时段，所述预设规则可以根据线程对应的任务的重要程度，任务执行的先后次序，任务的优先级等方式来确定，本说明书不作具体限制。下面具体以随机分配每个线程的时间为例。

例如，在a1、b1、c1和d1都放入ScheduledThreadPoolExecutor线程池中之后，确定a1、b1、c1和d1的执行时段，如果处理时长为1s，则通过随机方式确定出a1的执行时段为0-250ms，b1的执行时段为501ms-750ms，c1的执行时段为251ms-500ms，以及d1的执行时段为751ms-1000ms。

在一种可选方式中，在执行线程的过程中，检测每个线程的执行时段是否到来；若检测到某个线程的执行时段已到来，则执行该线程；否则，禁止执行该线程。

具体地，在a1、b1、c1和d1都放入ScheduledThreadPoolExecutor线程池中之后，确定a1、b1、c1和d1的执行时段，如果处理时长为1s，则通过随机方式确定出a1的执行时段为0-250ms，b1的执行时段为501ms-750ms，c1的执行时段为251ms-500ms，以及d1的执行时段为751ms-1000ms，根据a1、b1、c1和d1的执行时段，线程的执行的次序依次为a1、c1、b1和d1；其中，在检测到每个线程的执行时段到来时，执行对应的线程，其余时间ScheduledThreadPoolExecutor都是在轮询线程的状态。

在一种可选方式中，可以将所有线程均匀分发到服务器集群中的各服务器中进行执行，以提高服务器集群中服务器的任务处理效率。例如服务器数为5，线程数量为100，则在每个服务器中分配20个线程进行执行。

在实际应用过程中，参见图2，以基金资产的收益计算批处理任务为例，调度中心根据应用设置的CRON表达式，当前时间满足CRON表达式时，调度中心通过消息投递地方式通知应用开始执行批处理任务，即调度中心触发任务消息，然后使用sofa-platform-schedule提供的Splitor/Loader/Executer接口，实现批处理任务的拆分、分发和执行。

具体来讲，如图2所示，在调度中心触发任务消息之后，首先调用Splitor接口进行数据交互，然后调用Loader接口，在调用Loader接口过程中，首先从数据库中获取还未进行收益计算的userId列表，然后通过DRM根据服务器集群中的服务器信息和数据库信息动态配置用户数量(任务数量)和处理时长，其中，DRM中配置的用户数量的值越大，每次获取到的userId就越多，通过调节DRM中配置的用户数量来调节每次任务要处理的用户数。其中，Loader接口的数量不小于2，且并发执行。

进一步地，在调用Loader接口获取到userId之后，将userId分发给Executer接口然后进行调用，在Executer接口收到Loader接口分发过来的userId以后，首先创建一个runnable线程，然后放到ScheduledThreadPoolExecutor线程池中进行执行。其中，Executer接口的数量不小于2，且并发执行。

进一步地，为了保证批处理任务的平滑处理，ScheduledThreadPoolExecutor针对收到的每一个用户创建收益计算子任务runnable，通过调用schedule.schedule(子任务runnable,RandomUtils.nextInt()％delay,TimeUnit.MILLISECONDS)方法执行单个用户的收益计算,然后将收益计算的结果存储到数据库中。

其中，delay是子任务runnable执行的最长延迟时间，TimeUnit.MILLISECONDS是毫秒时间单位。比如通过DRM的方式配置让收益计算任务在6s内执行完成，那么delay＝6000ms，通过RandomUtils.nextInt()％delay的方式将每个用户的收益计算子任务的执行时段均匀地打散到6000ms中，如此，使得在每个用户的收益计算子任务的执行时段均匀分布在处理时长中，从而促使批处理任务的处理性能更平滑。

由上述可知，通过动态配置任务数量和处理时长，促使批处理的任务数量和处理时长与服务器集群中的服务器处理速度相匹配，提高批处理任务的处理效率；而且将所有线程的执行时段均匀分布在处理时长中，实现了更平滑的处理的批处理任务。

第二方面，基于同一发明构思，本说明书实施例提供一种批处理任务的处理装置，请参考图3，包括：

批处理任务信息获取单元301，用于获取调度中心触发的批处理任务信息

配置单元302，用于利用分布式动态配置管理框架动态配置出当前批处理的任务数量和处理时长；

线程创建单元303，用于为当前批处理的每个任务创建一个线程并放入线程池中；

线程执行单元304，用于将所述线程池中的所有线程的执行时段均匀分布在所述处理时长中，并通过执行所有线程来处理所述当前批处理的每个任务。

在一种可选方式中，线程执行单元304，用于根据所述任务数量和所述处理时长，获取当前批处理任务对应的所有线程中每个线程的执行时段，其中，所有线程的执行时段均匀分布在所述处理时长中。

在一种可选方式中，所述处理装置还包括时间检测单元，用于在获取调度中心触发的批处理任务信息之前，检测当前时间是否满足CRON表达式；批处理任务信息获取单元301，用于在所述时间检测单元检测到当前时间满足CRON表达式时，获取所述调度中心触发的批处理任务信息。在

一种可选方式中，线程执行单元304，还用于在通过执行所有线程来处理所述当前批处理的每个任务过程中，检测每个线程的执行时段是否到来；若检测到某个线程的执行时段已到来，则执行该线程。

在一种可选方式中，配置单元302，还用于根据服务器集群中的服务器信息和数据库容量信息，利用分布式动态配置管理框架动态配置出所述任务数量和所述处理时长。

第三方面，基于与前述实施例中批处理任务的处理方法同样的发明构思，本发明还提供一种服务器，如图4所示，包括存储器404、处理器402及存储在存储器404上并可在处理器402上运行的计算机程序，所述处理器402执行所述程序时实现前文所述批处理任务的处理方法的任一方法的步骤。

其中，在图4中，总线架构(用总线400来代表)，总线400可以包括任意数量的互联的总线和桥，总线400将包括由处理器402代表的一个或多个处理器和存储器404代表的存储器的各种电路链接在一起。总线400还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口405在总线400和接收器401和发送器403之间提供接口。接收器401和发送器403可以是同一个元件，即收发机，提供用于在传输介质上与各种其他装置通信的单元。处理器402负责管理总线400和通常的处理，而存储器404可以被用于存储处理器402在执行操作时所使用的数据。

第四方面，基于与前述实施例中批处理任务的处理方法的发明构思，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前文所述批处理任务的处理方法的任一方法的步骤。

本说明书是参照根据本说明书实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的设备。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品，该指令设备实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本说明书的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本说明书范围的所有变更和修改。

显然，本领域的技术人员可以对本说明书进行各种改动和变型而不脱离本说明书的精神和范围。这样，倘若本说明书的这些修改和变型属于本说明书权利要求及其等同技术的范围之内，则本说明书也意图包含这些改动和变型在内。

Claims (12)

1.一种批处理任务的处理方法，其特征在于，包括：

获取调度中心触发的批处理任务信息；

响应触发的所述批处理任务信息，利用分布式动态配置管理框架动态配置出当前批处理的任务数量和处理时长；

为所述当前批处理的每个任务创建一个线程并放入线程池中；

将所述线程池中的所有线程的执行时段均匀分布在所述处理时长中，并通过执行所有线程来处理所述当前批处理的每个任务。

2.如权利要求1所述的处理方法，其特征在于，所述将所述线程池中的所有线程的执行时段均匀分布在所述处理时长中，具体包括：

根据所述任务数量和所述处理时长，获取当前批处理任务对应的所有线程中每个线程的执行时段。

3.如权利要求2所述的处理方法，其特征在于，在获取调度中心触发的批处理任务信息之前，所述方法还包括：

检测当前时间是否满足CRON表达式；

若满足，则获取所述调度中心触发的批处理任务信息。

4.如权利要求3所述的处理方法，其特征在于，在通过通过执行所有线程来处理所述当前批处理的每个任务中，所述方法还包括：

检测每个线程的执行时段是否到来；

若检测到某个线程的执行时段已到来，则执行该线程。

5.如权利要1-4任一项所述的处理方法，其特征在于，所述利用分布式动态配置管理框架动态配置出当前批处理的任务数量和处理时长，具体包括：

根据服务器集群中的服务器信息和数据库容量信息，利用分布式动态配置管理框架动态配置出所述任务数量和所述处理时长。

6.一种批处理任务的处理装置，其特征在于，包括：

批处理任务信息获取单元，用于获取调度中心触发的批处理任务信息；

配置单元，用于利用分布式动态配置管理框架动态配置出当前批处理的任务数量和处理时长；

线程创建单元，用于为当前批处理的每个任务创建一个线程并放入线程池中；

线程执行单元，用于将所述线程池中的所有线程的执行时段均匀分布在所述处理时长中，并通过执行所有线程来处理所述当前批处理的每个任务。

7.如权利要求6所述的处理装置，其特征在于，所述线程执行单元，用于根据所述任务数量和所述处理时长，获取当前批处理任务对应的所有线程中每个线程的执行时段，其中，所有线程的执行时段均匀分布在所述处理时长中。

8.如权利要求7所述的处理装置，其特征在于，还包括:

时间检测单元，用于在获取调度中心触发的批处理任务信息之前，检测当前时间是否满足CRON表达式；

所述批处理任务信息获取单元，用于在所述时间检测单元检测到当前时间满足CRON表达式时，获取所述调度中心触发的批处理任务信息。

9.如权利要求8所述的处理装置，其特征在于，所述线程执行单元，还用于在通过执行所有线程来处理所述当前批处理的每个任务过程中，检测每个线程的执行时段是否到来；若检测到某个线程的执行时段已到来，则执行该线程。

10.如权利要6-9任一项所述的处理装置，其特征在于，所述配置单元，用于根据服务器集群中的服务器信息和数据库容量信息，利用分布式动态配置管理框架动态配置出所述任务数量和所述处理时长。

11.一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-5一项所述方法的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-5任一项所述方法的步骤。