CN110362401A - 数据跑批方法、装置、存储介质及集群中的成员主机 - Google Patents

Abstract

本发明公开了一种数据跑批方法、装置、存储介质及集群中的成员主机，该方法包括：获取当前任务节点对应的批量待处理数据，将所述批量待处理数据进行随机分区，获得预设数量的分区数据；根据所述预设数量的分区数据生成对应分区的子任务，将所述预设数量的所述子任务以队列形式存放至预设队列列表，并通过消息中间件发送任务处理消息至集群中的各成员主机，以使所述集群中的各成员主机监听到所述任务处理消息时，从所述预设队列列表中获取子任务进行处理。基于大数据，通过集群处理大批量数据，集群中各成员主机分发任务同时也可以执行任务，实现资源的最大化使用，数据分区不依赖于数据库，可以任意扩展子任务数，加大数据的并发处理速度。

Description

数据跑批方法、装置、存储介质及集群中的成员主机

技术领域

本发明涉及大数据的技术领域，尤其涉及一种数据跑批方法、装置、存储介质及集群中的成员主机。

背景技术

目前，涉及大批量数据处理时，跑批应用单独部署，在不跑批时，跑批应用的闲置导致资源浪费；大批量任务执行时采用单线程执行，导致任务执行速度较慢；大批量任务的数据分区依赖于Oralce的哈希(hash)分区，Oralce中的一张表数据量达到亿数量级后或是单表达到2G大小，查询效率会明显下降，需要通过分区的方式，从行的维度对表进行划分，避免单表数据量过大，对于数据规律性不强，或者取值范围难以确定的，通过哈希法强行进行分区，分区个数需设置成2的幂次，扩展性不强。因此，如何提高大批量数据处理的效率及实现资源的最大化使用是亟待解决的技术问题。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种数据跑批方法、装置、存储介质及集群中的成员主机，旨在解决现有技术中大批量数据处理效率低及资源使用率不高的技术问题。

为实现上述目的，本发明提供一种数据跑批方法，所述数据跑批方法包括以下步骤：

获取当前任务节点对应的批量待处理数据，将所述批量待处理数据进行随机分区，获得预设数量的分区数据；

根据所述预设数量的分区数据生成对应分区的子任务，将所述预设数量的所述子任务以队列形式存放至预设队列列表，并通过消息中间件发送任务处理消息至集群中的各成员主机，以使所述集群中的各成员主机监听到所述任务处理消息时，从所述预设队列列表中获取子任务进行处理。

优选地，所述根据所述预设数量的分区数据生成对应分区的子任务，将所述预设数量的所述子任务以队列形式存放至预设队列列表，并通过消息中间件发送任务处理消息至集群中的各成员主机，以使所述集群中的各成员主机监听到所述任务处理消息时，从所述预设队列列表中获取子任务进行处理之后，所述数据跑批方法还包括：

当从所述预设队列列表中获取一个子任务时，对所述预设队列列表中的子任务数量进行减一，获得剩余子任务数。

优选地，所述当从所述预设队列列表中获取一个子任务时，对所述预设队列列表中的子任务数量进行减一，获得剩余子任务数之后，所述数据跑批方法还包括：

当所述剩余子任务数为零时，认定获取的子任务为最后一条子任务，对所述最后一条子任务的处理进度进行监听，在监听到所述最后一条子任务处理完时，采用集群消费方式通过所述消息中间件发送子任务全部处理完成消息至所述集群。

优选地，所述当所述剩余子任务数为零时，认定获取的子任务为最后一条子任务，对所述最后一条子任务的处理进度进行监听，在监听到所述最后一条子任务处理完时，采用集群消费方式通过所述消息中间件发送子任务全部处理完成消息至所述集群之后，所述数据跑批方法还包括：

监听到所述子任务全部处理完成消息时，判断所有子任务是否已经全部处理成功，若所有子任务已经全部处理成功，则获取下一个任务节点并执行下一个任务。

优选地，所述根据所述预设数量的分区数据生成对应分区的子任务，将所述预设数量的所述子任务以队列形式存放至预设队列列表，并通过消息中间件发送任务处理消息至集群中的各成员主机，以使所述集群中的各成员主机监听到所述任务处理消息时，从所述预设队列列表中获取子任务进行处理之后，所述数据跑批方法还包括：

通过广播消费方式进行监听，在监听到所述任务处理消息时，从所述预设队列列表中获取子任务进行处理。

优选地，所述通过广播消费方式进行监听，在监听到所述任务处理消息时，从所述预设队列列表中获取子任务进行处理，包括：

通过广播消费方式进行监听；

在监听到所述任务处理消息时，从所述预设队列列表中获取子任务进行处理；

对所述集群中的除了获取子任务的成员主机之外的其他成员主机进行获取子任务功能封锁。

优选地，所述在监听到所述任务处理消息时，从所述预设队列列表中获取子任务进行处理，包括：

在监听到所述任务处理消息时，计算CPU占用率，根据所述CPU占用率从所述预设队列列表中获取多个子任务，并采用多线程并发处理多个子任务。

此外，为实现上述目的，本发明还提出一种集群中的成员主机，所述集群中的成员主机包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据跑批程序，所述数据跑批程序配置为实现如上文所述的数据跑批方法的步骤。

此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有数据跑批程序，所述数据跑批程序被处理器执行时实现如上文所述的数据跑批方法的步骤。

此外，为实现上述目的，本发明还提出一种数据跑批装置，所述数据跑批装置包括：

随机分区模块，用于获取当前任务节点对应的批量待处理数据，将所述批量待处理数据进行随机分区，获得预设数量的分区数据；

生成模块，用于根据所述预设数量的分区数据生成对应分区的子任务，将所述预设数量的所述子任务以队列形式存放至预设队列列表，并通过消息中间件发送任务处理消息至集群中的各成员主机，以使所述集群中的各成员主机监听到所述任务处理消息时，从所述预设队列列表中获取子任务进行处理。

本发明中，通过获取当前任务节点对应的批量待处理数据，将所述批量待处理数据进行随机分区，获得预设数量的分区数据，数据分区不依赖于数据库，可以任意扩展子任务数，加大数据的并发处理速度；根据所述预设数量的分区数据生成对应分区的子任务，将所述预设数量的所述子任务以队列形式存放至预设队列列表，并通过消息中间件发送任务处理消息至集群中的各成员主机，以使所述集群中的各成员主机监听到所述任务处理消息时，从所述预设队列列表中获取子任务进行处理，基于大数据，通过集群处理大批量数据，分发任务同时也可以执行任务，实现资源的最大化使用。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的集群中的成员主机的结构示意图；

图2为本发明数据跑批方法第一实施例的流程示意图；

图3为本发明数据跑批方法第二实施例的流程示意图；

图4为本发明数据跑批方法第三实施例的流程示意图；

图5为本发明数据跑批装置第一实施例的结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的集群中的成员主机结构示意图。

如图1所示，该集群中的成员主机可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)，可选用户接口1003还可以包括标准的有线接口、无线接口，对于用户接口1003的有线接口在本发明中可为USB接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(Random Access Memory，RAM)存储器，也可以是稳定的存储器(Non-volatileMemory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对集群中的成员主机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及数据跑批程序。

在图1所示的集群中的成员主机中，网络接口1004主要用于连接后台服务器，与所述后台服务器进行数据通信；用户接口1003主要用于连接用户设备；所述集群中的成员主机通过处理器1001调用存储器1005中存储的数据跑批程序，并执行本发明实施例提供的数据跑批方法。

基于上述硬件结构，提出本发明数据跑批方法的实施例。

参照图2，图2为本发明数据跑批方法第一实施例的流程示意图，提出本发明数据跑批方法第一实施例。

在第一实施例中，所述数据跑批方法包括以下步骤：

步骤S10：获取当前任务节点对应的批量待处理数据，将所述批量待处理数据进行随机分区，获得预设数量的分区数据。

应理解的是，本实施例的执行主体是所述集群中的成员主机，其中，所述集群中的成员主机可为个人电脑或服务器等电子设备。所述集群中包括多台成员主机，所有的成员主机都具有一样的功能，可以分发任务同时也可以执行任务，实现资源的最大化使用。本实施例的执行主体为所述集群中的任意一台成员主机，通过预设开源项目定时启动跑批任务，所述预设开源项目为quartz，跑批任务启动后，获取到所述当前任务节点，并将所述当前任务节点对应的所述批量待处理数据随机分区，通常分为a-z、A-Z以及0-9一共62个分区的所述分区数据，即所述预设数量为62，也可对分区进行拓展，分为更多数量的分区，数据分区不依赖于数据库，并且可以任意扩展子任务数，加大数据的并发处理速度。

步骤S20：根据所述预设数量的分区数据生成对应分区的子任务，将所述预设数量的所述子任务以队列形式存放至预设队列列表，并通过消息中间件发送任务处理消息至集群中的各成员主机，以使所述集群中的各成员主机监听到所述任务处理消息时，从所述预设队列列表中获取子任务进行处理。

可理解的是，所述批量待处理数据分区完成后，生成对应分区的预设数量的子任务，通常所述预设数量为62，也即62个子任务，任务标号为a-z、A-Z以及0-9，也可对子任务数进行拓展，分为更多数量的子任务，并以队列的方式将这62个子任务放到所述预设队列列表，所述预设队列列表为redis队列列表，通过所述消息中间件发送所述任务处理消息，告知所述集群中的各主机有任务待处理。

需要说明的是，所述集群通过广播消费方式监听，所以所述集群中的各成员主机都会收到所述任务处理消息，然后从所述redis队列列表里面获取子任务，并调用与获取的子任务对应的处理类进行处理，所述处理类通常为子任务执行对应的算法或规则等，根据所述处理类执行所述子任务，获得结果数据。比如，所述子任务为计算A订单的佣金，A订单的类型为消费贷，则所述处理类为消费贷类型订单的佣金计算公式，根据所述消费贷类型订单的佣金计算公式计算A订单的佣金，计算完成，即该子任务处理完成。

在具体实现中，执行各子任务时，对于处理错误或异常的数据进行日志记录，可预先获取大量的样本异常数据及对应的样本异常点，通过卷积神经网络模型学习所述样本异常数据及对应的样本异常点，获得异常识别模型，通过所述异常识别模型识别日志记录中的错误或异常数据，从而定位出异常点，进行异常处理，以成功处理完成子任务。

本实施例中，通过获取当前任务节点对应的批量待处理数据，将所述批量待处理数据进行随机分区，获得预设数量的分区数据，数据分区不依赖于数据库，可以任意扩展子任务数，加大数据的并发处理速度；根据所述预设数量的分区数据生成对应分区的子任务，将所述预设数量的所述子任务以队列形式存放至预设队列列表，并通过消息中间件发送任务处理消息至集群中的各成员主机，以使所述集群中的各成员主机监听到所述任务处理消息时，从所述预设队列列表中获取子任务进行处理，基于大数据，通过集群处理大批量数据，分发任务同时也可以执行任务，实现资源的最大化使用。

参照图3，图3为本发明数据跑批方法第二实施例的流程示意图，基于上述图2所示的第一实施例，提出本发明数据跑批方法的第二实施例。

在第二实施例中，所述步骤S20之后，还包括：

步骤S30：当从所述预设队列列表中获取一个子任务时，对所述预设队列列表中的子任务数量进行减一，获得剩余子任务数。

应理解的是，为了避免子任务的重复获取或者执行，对于各成员主机从所述预设队列列表中获取子任务采用redis+lua脚本实现分布式锁，当任意一个成员主机B从所述设队列列表中获取子任务时，对其他成员主机进行获取子任务功能封锁，即不允许其他成员主机在此时进行获取子任务的操作，在达到数据同步的同时大大减少加锁所带来的时间开销。待所述成员主机B从所述预设队列列表中获取一个子任务，对所述预设队列列表中的所述预设数量进行减一，获得剩余子任务数，比如所述预设数量为62，所述成员主机B从所述预设队列列表中获取一个子任务，则所述剩余子任务数为61。所述成员主机B从所述预设队列列表中获取一个子任务之后，对其他成员主机开放获取子任务的功能，则其他成员主机可从所述预设队列列表中获取子任务进行处理，直至所述预设队列列表中的子任务全部被获取执行。

在第二实施例中，所述步骤S30之后，还包括：

步骤S40：当所述剩余子任务数为零时，认定获取的子任务为最后一条子任务，对所述最后一条子任务的处理进度进行监听，在监听到所述最后一条子任务处理完时，采用集群消费方式通过所述消息中间件发送子任务全部处理完成消息至所述集群。

需要说明的是，在所述集群中的任意一个成员主机C从所述预设队列列表中获取子任务时，对所述预设队列列表中的子任务数量进行减一，获得剩余子任务数，若所述剩余子任务数为零，则说明该成员主机C从所述预设队列列表中获取的该子任务为最后一条子任务，则在该成员主机C处理完该最后一条子任务时，可采用群消费方式通过所述消息中间件发送子任务全部处理完成消息至所述集群。

在具体实现中，为了使得所述集群中各主机能够连续高效处理更多任务，在所述集群中的该成员主机C处理完所述最后一条子任务时，可通过所述消息中间件发送子任务全部处理完成消息至所述集群，以使所述集群中的各主机可继续获取下一任务节点对下一任务节点的任务进行处理，所述子任务全部处理完成消息的消费方式采用集群消费方式，所以只会有一台主机监听到所述子任务全部处理完成消息。

在第二实施例中，所述步骤S40之后，还包括：

监听到所述子任务全部处理完成消息时，判断所有子任务是否已经全部处理成功，若所有子任务已经全部处理成功，则获取下一个任务节点并执行下一个任务。

可理解的是，所述成员主机C为所述集群中处理最后一条子任务的成员主机，所述所述成员主机C通过所述消息中间件发送一条子任务全部处理完成消息，所述子任务全部处理完成消息的消费方式采用集群消费，所以只会有一台成员主机，比如成员主机D，监听到所述子任务全部处理完成消息，所述成员主机D为所述集群中任意一个成员主机。

在具体实现中，所述成员主机D监听到所述子任务全部处理完成消息时，判断各子任务是否已全部处理成功，如果所有子任务均已经全部处理成功，则自动进入下一个任务节点执行，如果所有子任务并未全部处理成功，则暂停获取下一个任务节点，等待问题排查，若问题排查并处理完成，则再度唤醒任务处理机制，继续获取下一个任务节点并执行下一个任务。通常会对子任务处理数据进行监控，若监控到异常数据之后进行告警，人工介入排查错误。

在第二实施例中，当从所述预设队列列表中获取一个子任务时，对所述预设队列列表中的子任务数量进行减一，获得剩余子任务数，当所述剩余子任务数为零时，认定获取的子任务为最后一条子任务，对所述最后一条子任务的处理进度进行监听，在监听到所述最后一条子任务处理完时，采用集群消费方式通过所述消息中间件发送子任务全部处理完成消息至所述集群，通过对队列列表中的子任务数量进行计数，从而掌握子任务的执行进度，在所有子任务都已处理完成时，及时发送任务全部处理完成消息，以使集群中的成员主机及时获取下一个任务节点进行下一个任务的处理，实现大批量数据处理效率的提升。

参照图4，图4为本发明数据跑批方法第三实施例的流程示意图，基于上述图3所示的第二实施例，提出本发明数据跑批方法的第三实施例。

在第三实施例中，所述步骤S20之后，还包括：

步骤S201：通过广播消费方式进行监听，在监听到所述任务处理消息时，从所述预设队列列表中获取子任务进行处理。

应理解的是，所述集群中包括多台成员主机，所有的成员主机都具有一样的功能，可以分发任务同时也可以执行任务，实现资源的最大化使用，所述集群中的各成员主机通过广播消费方式进行监听，所以所述集群中所有的主机都会收到所述任务处理消息，然后从redis队列列表里面获取子任务，并调用相应的处理类进行处理，对于处理错误或异常的数据做日志记录。

进一步地，所述步骤S201，包括：

通过广播消费方式进行监听；

在监听到所述任务处理消息时，从所述预设队列列表中获取子任务进行处理；

对所述集群中的除了获取子任务的成员主机之外的其他成员主机进行获取子任务功能封锁。

需要说明的是，所述集群中所有的主机分发任务同时也可以执行任务，为了避免子任务的重复获取或者执行，对于各成员主机从所述预设队列列表中获取子任务采用redis+lua脚本实现分布式锁，当任意一个成员主机B从所述设队列列表中获取子任务时，对所述集群中的除了获取子任务的成员主机之外的其他成员主机进行获取子任务功能封锁，即不允许其他成员主机在此时进行获取子任务的操作，所述成员主机B从所述预设队列列表中获取一个或多个子任务之后，对所述集群中的除了获取子任务的成员主机之外的其他成员主机进行开放获取子任务的功能，则其他成员主机可从所述预设队列列表中获取子任务进行处理，直至所述预设队列列表中的子任务全部被获取执行。采用redis+lua脚本实现分布式锁，在达到数据同步的同时大大减少加锁所带来的时间开销。

在本实施例中，所述在监听到所述任务处理消息时，从所述预设队列列表中获取子任务进行处理，包括：

在监听到所述任务处理消息时，计算CPU占用率，根据所述CPU占用率从所述预设队列列表中获取多个子任务，并采用多线程并发处理多个子任务。

可理解的是，所述集群中的各成员主机可以同时处理不同分区的子任务，且每台成员主机采用多线程并发处理任务，处理速度快。并发处理任务根据CPU的占用率确定，通常5个线程同时并发处理，提高批量子任务处理速度。所述集群中的各主机可通过计算各自的CPU占用率，根据所述CPU占用率判断获取子任务的数量，在不影响处理速度的前提下，获取多个子任务，从而多个线程并发处理获取的多个子任务，提升所述预设队列列表中子任务处理效率。

在本实施例中，通过广播消费方式进行监听，在监听到所述任务处理消息时，从所述预设队列列表中获取子任务进行处理，集群中所有的成员主机都会收到所述任务处理消息，集群中各成员主机分发任务同时也可以执行任务，实现资源的最大化使用，也提高子任务处理效率。

此外，本发明实施例还提出一种存储介质，所述存储介质上存储有数据跑批程序，所述数据跑批程序被处理器执行时实现如上文所述的数据跑批方法的步骤。

此外，参照图5，本发明实施例还提出一种数据跑批装置，所述数据跑批装置包括：

随机分区模块10，用于获取当前任务节点对应的批量待处理数据，将所述批量待处理数据进行随机分区，获得预设数量的分区数据。

应理解的是，所述集群中包括多台成员主机，所有的成员主机都具有一样的功能，可以分发任务同时也可以执行任务，实现资源的最大化使用。通过预设开源项目定时启动跑批任务，所述预设开源项目为quartz，跑批任务启动后，获取到所述当前任务节点，并将所述当前任务节点对应的所述批量待处理数据随机分区，通常分为a-z、A-Z以及0-9一共62个分区的所述分区数据，即所述预设数量为62，也可对分区进行拓展，分为更多数量的分区，数据分区不依赖于数据库，并且可以任意扩展子任务数，加大数据的并发处理速度。

生成模块20，用于根据所述预设数量的分区数据生成对应分区的子任务，将所述预设数量的所述子任务以队列形式存放至预设队列列表，并通过消息中间件发送任务处理消息至集群中的各成员主机，以使所述集群中的各成员主机监听到所述任务处理消息时，从所述预设队列列表中获取子任务进行处理。

可理解的是，所述批量待处理数据分区完成后，生成对应分区的预设数量的子任务，通常所述预设数量为62，也即62个子任务，任务标号为a-z、A-Z以及0-9，也可对子任务数进行拓展，分为更多数量的子任务，并以队列的方式将这62个子任务放到所述预设队列列表，所述预设队列列表为redis队列列表，通过所述消息中间件发送所述任务处理消息，告知所述集群中的各主机有任务待处理。

需要说明的是，所述集群通过广播消费方式监听，所以所述集群中的各成员主机都会收到所述任务处理消息，然后从所述redis队列列表里面获取子任务，并调用与获取的子任务对应的处理类进行处理，所述处理类通常为子任务执行对应的算法或规则等，根据所述处理类执行所述子任务，获得结果数据。比如，所述子任务为计算A订单的佣金，A订单的类型为消费贷，则所述处理类为消费贷类型订单的佣金计算公式，根据所述消费贷类型订单的佣金计算公式计算A订单的佣金，计算完成，即该子任务处理完成。

在具体实现中，执行各子任务时，对于处理错误或异常的数据进行日志记录，可预先获取大量的样本异常数据及对应的样本异常点，通过卷积神经网络模型学习所述样本异常数据及对应的样本异常点，获得异常识别模型，通过所述异常识别模型识别日志记录中的错误或异常数据，从而定位出异常点，进行异常处理，以成功处理完成子任务。

本实施例中，通过获取当前任务节点对应的批量待处理数据，将所述批量待处理数据进行随机分区，获得预设数量的分区数据，数据分区不依赖于数据库，可以任意扩展子任务数，加大数据的并发处理速度；根据所述预设数量的分区数据生成对应分区的子任务，将所述预设数量的所述子任务以队列形式存放至预设队列列表，并通过消息中间件发送任务处理消息至集群中的各成员主机，以使所述集群中的各成员主机监听到所述任务处理消息时，从所述预设队列列表中获取子任务进行处理，基于大数据，通过集群处理大批量数据，分发任务同时也可以执行任务，实现资源的最大化使用。

在一实施例中，所述数据跑批装置还包括：

计算模块，用于当从所述预设队列列表中获取一个子任务时，对所述预设队列列表中的子任务数量进行减一，获得剩余子任务数。

在一实施例中，所述数据跑批装置还包括：

发送模块，用于当所述剩余子任务数为零时，认定获取的子任务为最后一条子任务，对所述最后一条子任务的处理进度进行监听，在监听到所述最后一条子任务处理完时，采用集群消费方式通过所述消息中间件发送子任务全部处理完成消息至所述集群。

在一实施例中，所述数据跑批装置还包括：

获取模块，用于监听到所述子任务全部处理完成消息时，判断所有子任务是否已经全部处理成功，若所有子任务已经全部处理成功，则获取下一个任务节点并执行下一个任务。

在一实施例中，所述获取模块，还用于通过广播消费方式进行监听，在监听到所述任务处理消息时，从所述预设队列列表中获取子任务进行处理。

在一实施例中，所述获取模块，还用于通过广播消费方式进行监听；在监听到所述任务处理消息时，从所述预设队列列表中获取子任务进行处理；对所述集群中的除了获取子任务的成员主机之外的其他成员主机进行获取子任务功能封锁。

在一实施例中，所述获取模块，还用于在监听到所述任务处理消息时，计算CPU占用率，根据所述CPU占用率从所述预设队列列表中获取多个子任务，并采用多线程并发处理多个子任务。

本发明所述数据跑批装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为标识。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器镜像(Read Only Memory image，ROM)/随机存取存储器(Random AccessMemory，RAM)、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据跑批方法，其特征在于，所述数据跑批方法包括以下步骤：

获取当前任务节点对应的批量待处理数据，将所述批量待处理数据进行随机分区，获得预设数量的分区数据；

根据所述预设数量的分区数据生成对应分区的子任务，将所述预设数量的所述子任务以队列形式存放至预设队列列表，并通过消息中间件发送任务处理消息至集群中的各成员主机，以使所述集群中的各成员主机监听到所述任务处理消息时，从所述预设队列列表中获取子任务进行处理。

2.如权利要求1所述的数据跑批方法，其特征在于，所述根据所述预设数量的分区数据生成对应分区的子任务，将所述预设数量的所述子任务以队列形式存放至预设队列列表，并通过消息中间件发送任务处理消息至集群中的各成员主机，以使所述集群中的各成员主机监听到所述任务处理消息时，从所述预设队列列表中获取子任务进行处理之后，所述数据跑批方法还包括：

当从所述预设队列列表中获取一个子任务时，对所述预设队列列表中的子任务数量进行减一，获得剩余子任务数。

3.如权利要求2所述的数据跑批方法，其特征在于，所述当从所述预设队列列表中获取一个子任务时，对所述预设队列列表中的子任务数量进行减一，获得剩余子任务数之后，所述数据跑批方法还包括：

当所述剩余子任务数为零时，认定获取的子任务为最后一条子任务，对所述最后一条子任务的处理进度进行监听，在监听到所述最后一条子任务处理完时，采用集群消费方式通过所述消息中间件发送子任务全部处理完成消息至所述集群。

4.如权利要求3所述的数据跑批方法，其特征在于，所述当所述剩余子任务数为零时，认定获取的子任务为最后一条子任务，对所述最后一条子任务的处理进度进行监听，在监听到所述最后一条子任务处理完时，采用集群消费方式通过所述消息中间件发送子任务全部处理完成消息至所述集群之后，所述数据跑批方法还包括：

监听到所述子任务全部处理完成消息时，判断所有子任务是否已经全部处理成功，若所有子任务已经全部处理成功，则获取下一个任务节点并执行下一个任务。

5.如权利要求1-4中任一项所述的数据跑批方法，其特征在于，所述根据所述预设数量的分区数据生成对应分区的子任务，将所述预设数量的所述子任务以队列形式存放至预设队列列表，并通过消息中间件发送任务处理消息至集群中的各成员主机，以使所述集群中的各成员主机监听到所述任务处理消息时，从所述预设队列列表中获取子任务进行处理之后，所述数据跑批方法还包括：

通过广播消费方式进行监听，在监听到所述任务处理消息时，从所述预设队列列表中获取子任务进行处理。

6.如权利要求5所述的数据跑批方法，其特征在于，所述通过广播消费方式进行监听，在监听到所述任务处理消息时，从所述预设队列列表中获取子任务进行处理，包括：

通过广播消费方式进行监听；

在监听到所述任务处理消息时，从所述预设队列列表中获取子任务进行处理；

对所述集群中的除了获取子任务的成员主机之外的其他成员主机进行获取子任务功能封锁。

7.如权利要求6所述的数据跑批方法，其特征在于，所述在监听到所述任务处理消息时，从所述预设队列列表中获取子任务进行处理，包括：

在监听到所述任务处理消息时，计算CPU占用率，根据所述CPU占用率从所述预设队列列表中获取多个子任务，并采用多线程并发处理多个子任务。

8.一种集群中的成员主机，其特征在于，所述集群中的成员主机包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据跑批程序，所述数据跑批程序被所述处理器执行时实现如权利要求1至7中任一项所述的数据跑批方法的步骤。

9.一种存储介质，其特征在于，所述存储介质上存储有数据跑批程序，所述数据跑批程序被处理器执行时实现如权利要求1至7中任一项所述的数据跑批方法的步骤。

10.一种数据跑批装置，其特征在于，所述数据跑批装置包括：

随机分区模块，用于获取当前任务节点对应的批量待处理数据，将所述批量待处理数据进行随机分区，获得预设数量的分区数据；

生成模块，用于根据所述预设数量的分区数据生成对应分区的子任务，将所述预设数量的所述子任务以队列形式存放至预设队列列表，并通过消息中间件发送任务处理消息至集群中的各成员主机，以使所述集群中的各成员主机监听到所述任务处理消息时，从所述预设队列列表中获取子任务进行处理。