CN104199912B - 一种任务处理的方法及装置 - Google Patents

Abstract

本发明公开了一种任务处理的方法及装置，用以提高任务处理的效率。所述方法，包括：获得待处理的任务；确定所述待处理的任务所涉及的数据；确定存储所述涉及的数据的代理节点；将所述待处理的任务发送给确定的代理节点，指示代理节点处理任务。

Description

一种任务处理的方法及装置

技术领域

本发明涉及计算机技术领域，特别涉及一种任务处理的方法及装置。

背景技术

大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据指不用随机分析法(抽样调查)这样的捷径，而采用所有数据的方法)大数据的4V特点：Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。

在大数据时代，数据需要由多台设备分担存储，一个数据查询也需要动用多台设备。大数据通常是非结构化数据和半结构化数据，可能无法导入到传统的关系型数据库中，或者导入到关系型数据库后查询和修改也非常繁琐。

对于大数据，如何提高处理效率，是亟待解决的问题。

发明内容

本发明提供一种任务处理的方法及装置，用以提高任务的处理效率，适用于大数据处理。

本发明提供一种任务处理的方法，包括：

获得待处理的任务；

确定所述待处理的任务所涉及的数据；

确定存储所述涉及的数据的代理节点；

将所述待处理的任务发送给确定的代理节点，指示代理节点处理任务。

本实施例中数据的存储和处理由一个节点实现。在获得任务时，将该任务发送给该任务所涉及的数据所在的代理节点。这样代理节点在处理数据时只需在本地调用数据，可提高处理效率。并且数据由多个代理节点分担存储，也就由多个代理节点分担处理任务，可提高任务的处理效率。任务整体处理效率得到提高，单一节点的处理效率也得到了提高。

可选的，所述确定所述待处理的任务所涉及的数据，包括：

将所述待处理的任务划分为多个待处理的子任务；

确定所述待处理的子任务所涉及的数据。

本实施例中可以将任务划分为多个子任务，由多个代理节点分层级处理，可进一步提高任务的处理效率。

可选的，所述将所述待处理的任务发送给确定的代理节点，指示代理节点处理任务，包括：

向存储所述涉及的数据的多个代理节点中的一个代理节点发送包括所述待处理的任务的任务处理命令和任务分发命令，指示所述一个代理节点处理任务，并将所述待处理的任务发送给所述多个代理节点中的其它代理节点，其中，所述任务分发命令包括所述多个代理节点的标识。

本实施例中代理节点也可以承担分发任务的责任，分担了中心节点分发任务的压力，当待分发的任务较多时，可明显缓解中心节点的压力，提高分发效率，进而提高任务处理效率。

可选的，所述方法还包括：

接收所述一个代理节点发送的已汇总的任务处理结果，其中，已汇总的任务处理结果是由所述一个代理节点接收其它代理节点发送的任务处理结果并汇总后得到的。

本实施例中，代理节点还可以实现任务处理结果的汇总，分担了中心节点的汇总工作。中心节点与一个代理节点连接便可实现获得所有任务处理结果的目的。缓解了中心节点的处理压力，提高了任务处理效率。

可选的，所述数据采用哈希方式存储；

所述确定存储所述涉及的数据的代理节点，包括：

根据哈希算法确定存储所述涉及的数据的代理节点。

本实施例中采用哈希算法可快速定位数据已经定位数据所在的代理节点，处理效率较高。

一种任务处理的方法，包括：

接收中心节点发送的包括待处理的任务的任务处理命令和任务分发命令，其中，所述任务分发命令包括多个代理节点的标识；

根据本地数据处理收到的任务；

根据收到的多个代理节点的标识，将所述待处理的任务发送给多个代理节点。

本实施例中代理节点不仅负责存储和处理数据，还可以负责任务的分发，分担中心节点分发任务的压力，提高任务的分发效率，进而提高任务的处理效率。

可选的，所述方法还包括：

接收其它代理节点发送的任务处理结果；

将收到的任务处理结果和本地获得的任务处理结果汇总，获得已汇总的任务处理结果；

将已汇总的任务处理结果发送给中心节点。

本实施例中代理节点还可以接收其它代理节点反馈的任务处理结果，并进行汇总。分担了中心节点汇总任务处理结果的压力，提高了处理效率。

一种任务处理的装置，包括：

获取模块，用于获得待处理的任务；

数据模块，用于确定所述待处理的任务所涉及的数据；

节点模块，用于确定存储所述涉及的数据的代理节点；

发送模块，用于将所述待处理的任务发送给确定的代理节点，指示代理节点处理任务。

可选的，所述数据模块包括：

任务划分单元，用于将所述待处理的任务划分为多个待处理的子任务；

数据单元，用于确定所述待处理的子任务所涉及的数据。

可选的，所述发送模块向存储所述涉及的数据的多个代理节点中的一个代理节点发送包括所述待处理的任务的任务处理命令和任务分发命令，指示所述一个代理节点处理任务，并将所述待处理的任务发送给所述多个代理节点中的其它代理节点，其中，所述任务分发命令包括所述多个代理节点的标识。

可选的，所述装置还包括：

接收模块，用于接收所述一个代理节点发送的已汇总的任务处理结果，其中，已汇总的任务处理结果是由所述一个代理节点接收其它代理节点发送的任务处理结果并汇总后得到的。

可选的，所述数据采用哈希方式存储；

所述节点模块根据哈希算法确定存储所述涉及的数据的代理节点。

一种任务处理的装置，包括：

第一接收模块，用于接收中心节点发送的包括待处理的任务的任务处理命令和任务分发命令，其中，所述任务分发命令包括多个代理节点的标识；

处理模块，用于根据本地数据处理收到的任务；

第一发送模块，用于根据收到的多个代理节点的标识，将所述待处理的任务发送给多个代理节点。

可选的，所述装置还包括：

第二接收模块，用于接收其它代理节点发送的任务处理结果；

汇总模块，用于将收到的任务处理结果和本地获得的任务处理结果汇总，获得已汇总的任务处理结果；

第二发送模块，用于将已汇总的任务处理结果发送给中心节点。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中任务处理的流程图；

图2为本发明实施例中任务处理的流程图；

图3为本发明实施例中任务处理的流程图；

图4为本发明实施例中任务处理的流程图；

图5为本发明实施例中任务处理的装置的结构图；

图6为本发明实施例中数据模块的结构图；

图7为本发明实施例中任务处理的装置的结构图；

图8为本发明实施例中任务处理的装置的结构图；

图9为本发明实施例中任务处理的装置的结构图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

对于大数据的处理，传统的关系型数据库已不能适用。目前多采用离散型处理方式。存储数据的设备与处理数据的设备分离。在处理任务时从存储设备上获取数据导入到本地，并进行处理。如果数据量较大，该数据导入过程就占用较长时间，且占用较多的传输资源。

为解决该问题，本发明实施例中，代理节点既用于存储数据，又用于处理数据。代理节点获得的任务是由中心节点分发的。多个代理节点分担任务的处理。每个代理节点在处理任务时只需要从本地调用数据，该调用过程较短，有效提高了任务处理的效率。

参见图1，本实施例中中心节点侧任务处理的主要方法流程包括：

步骤101：获得待处理的任务。

该步骤中，中心节点可以根据用户输入的指令生成待处理的任务。或者，中心节点接收其它设备发送过来的任务。或者，中心节点基于前一任务的处理结果生成后续任务。

步骤102：确定所述待处理的任务所涉及的数据。

步骤103：确定存储所述涉及的数据的代理节点。

步骤104：将所述待处理的任务发送给确定的代理节点，指示代理节点处理任务。

本实施例由中心节点实现。中心节点可以位于一个独立的物理设备上，也可以于一个代理节点位于同一物理设备上。一个代理节点位于一个物理设备上。代理节点的数量与物理设备的数量一致。

由于代理节点既负责处理数据，也负责存储数据。所以中心节点在获得任务时，根据任务所涉及的数据，将任务分发该存储该数据的代理节点，而不是发送给只用于处理任务的代理节点。多个代理节点分担处理任务，每个代理节点在处理任务时只需从本地调取数据，处理效率较高。

对于一个任务，涉及各个代理节点的数据量不同，各代理节点的负载可能不同。但是对于大数据和多任务的处理，总体看来各代理节点的负载是均衡的。

例如，有5个代理节点，代理节点1-5。代理节点1存储数据1-100，代理节点2存储数据101-200，代理节点3存储数据201-300，代理节点4存储数据301-400，代理节点5存储数据401-500。中心节点获得任务，该任务为每60秒取出所有数据。中心节点确定该任务涉及所有数据，进而确定涉及所有代理节点。则中心节点将该任务广播给所有代理节点。所有代理节点收到该任务后只处理本地的数据，每60秒将本地所有数据发送给中心节点。

又如，中心节点获得任务后，确定该任务涉及的数据包括数据1-50、数据120-130和数据350-390。中心节点确定数据1-50涉及代理节点1，数据120-130涉及代理节点2，数据350-390涉及代理节点4。则中心节点将该任务发送给代理节点1、2、4。代理节点1、2、4针对该任务只处理本地的数据。

本实施例中，为了进一步提高任务的处理效率，可以将任务划分为多个子任务，再将子任务分发给各个代理节点。则，所述确定所述待处理的任务所涉及的数据，包括：将所述待处理的任务划分为多个待处理的子任务；确定所述待处理的子任务所涉及的数据。

例如，中心节点获得任务，该任务为对类型2的数据抽取色调。中心节点将该任务分为两个子任务。子任务1为确定类型2的数据的标识；子任务2为对类型2的数据抽取色调。中心节点确定子任务1涉及所有代理节点，因为中心节点不知道哪些数据是类型2的数据，所以需要所有代理节点执行查询操作。所有代理节点在本地存储的数据中查询类型2的数据，并将查询到的数据的标识发送给中心节点。中心节点收到各个代理节点的反馈后，便可确定类型2的数据所涉及的代理节点，进而确定了子任务2所涉及的代理节点。然后中心节点将子任务2发送给类型2的数据所涉及的代理节点。这些代理节点收到子任务2后对本地存储的类型2的数据进行色调抽取，并将抽取结果发送给中心节点。

如果不划分成子任务，由于中心节点不知道类型2的数据在哪些代理节点上，则中心节点会将该任务发送给所有代理节点，所有代理节点都执行该任务，对于没有存储类型2的数据的代理节点来说，该处理过程所占用的资源是种浪费。划分成子任务后，所有代理节点执行子任务1，部分代理节点执行子任务2。对于没有存储类型2的数据的代理节点来说，节省了处理资源，也提高了处理效率。

本实施例中，如果任务量特别大，中心节点分发各个任务的压力也比较大。为了进一步提高任务的处理效率，可以选择一个代理节点来分担中心节点分发任务的压力。则，所述将所述待处理的任务发送给确定的代理节点，指示代理节点处理任务，包括：向存储所述涉及的数据的多个代理节点中的一个代理节点发送包括所述待处理的任务的任务处理命令和任务分发命令，指示所述一个代理节点处理任务，并将所述待处理的任务发送给所述多个代理节点中的其它代理节点，其中，所述任务分发命令包括所述多个代理节点的标识。

该代理节点有3个功能：存储数据、处理任务和分发任务。中心节点针对一个任务面向一个代理节点，大幅度减少了发送任务的数量，明显缓解了中心节点的压力。该被选中的代理节点将任务分发给其它代理节点。由于该被选中的代理节点只负责一个任务的分发，所以分发任务的压力不大。这样，可整体提高分发任务的效率，进而提高任务的处理效率。

该被选中的代理节点在分发任务后，还可以负责任务处理结果的汇总，以便减轻中心节点的处理压力。则，所述方法还包括：接收所述一个代理节点发送的已汇总的任务处理结果，其中，已汇总的任务处理结果是由所述一个代理节点接收其它代理节点发送的任务处理结果并汇总后得到的。

本实施例中代理节点可以按照预设的汇总策略将任务处理结果汇总，例如，按照数据的顺序或优先级等策略进行汇总，各种汇总策略均适用于本实施例。在任务量较大的情况下，可明显提高任务的处理效率。

本实施例中，所述数据可以采用哈希方式存储。则，所述确定存储所述涉及的数据的代理节点，包括：根据哈希算法确定存储所述涉及的数据的代理节点。该方式可较快速的定位代理节点。

由于本实施例中代理节点可以集合存储数据、处理任务和分发任务三种功能。下面针对该代理节点在任务处理过程中的实现方法进行介绍。

参见图2，本实施例中代理节点侧任务处理的主要方法流程包括：

步骤201：接收中心节点发送的包括待处理的任务的任务处理命令和任务分发命令，其中，所述任务分发命令包括多个代理节点的标识。

步骤202：根据本地数据处理收到的任务。

步骤203：根据收到的多个代理节点的标识，将所述待处理的任务发送给多个代理节点。该步骤与步骤202可以同步进行。

本实施例中代理节点不仅负责存储和处理数据，还可以负责任务的分发，分担中心节点分发任务的压力，提高任务的分发效率，进而提高任务的处理效率。

该被选中的代理节点在分发任务后，还可以负责任务处理结果的汇总，以便减轻中心节点的处理压力。则，所述方法还包括：接收其它代理节点发送的任务处理结果；将收到的任务处理结果和本地获得的任务处理结果汇总，获得已汇总的任务处理结果；将已汇总的任务处理结果发送给中心节点。

本实施例中代理节点可以按照预设的汇总策略将任务处理结果汇总，例如，按照数据的顺序或优先级等策略进行汇总，各种汇总策略均适用于本实施例。在任务量较大的情况下，可明显提高任务的处理效率。

下面通过几个实施例详细介绍任务处理的实现过程。

参见图3，本实施例中任务处理的详细方法流程包括：

步骤301：中心节点获得待处理的任务。

步骤302：中心节点将所述待处理的任务划分为多个待处理的子任务。

步骤303：中心节点确定所述待处理的子任务所涉及的数据。

步骤304：中心节点确定存储所述涉及的数据的代理节点。

步骤305：中心节点将所述待处理的任务发送给确定的代理节点。

步骤306：代理节点接收任务并进行处理。

参见图4，本实施例中任务处理的详细方法流程包括：

步骤401：中心节点获得待处理的任务。

步骤402：中心节点确定所述待处理的任务所涉及的数据。

步骤403：中心节点确定存储所述涉及的数据的代理节点。

步骤404：中心节点向存储所述涉及的数据的多个代理节点中的一个代理节点发送包括所述待处理的任务的任务处理命令和任务分发命令。其中，所述任务分发命令包括多个代理节点的标识。或者，该代理节点也可以确定存储所述涉及的数据的代理节点。

步骤405：收到任务分发命令的代理节点根据获得的多个代理节点的标识，将所述待处理的任务发送给多个代理节点。

步骤406：收到任务处理命令的代理节点根据本地数据处理收到的任务。

步骤407：收到任务分发命令的代理节点接收其它代理节点发送的任务处理结果。

步骤408：收到任务分发命令的代理节点将收到的任务处理结果和本地获得的任务处理结果汇总，获得已汇总的任务处理结果。

步骤409：收到任务分发命令的代理节点将已汇总的任务处理结果发送给中心节点。

通过以下描述了解了任务处理的实现过程，该过程主要由中心节点和代理节点实现，下面对该中心节点和代理节点的内部结构和功能进行介绍。

参见图5，本实施例中中心节点(或称承载中心节点的装置)包括：获取模块501、数据模块502、节点模块503和发送模块504。

获取模块501，用于获得待处理的任务。

数据模块502，用于确定所述待处理的任务所涉及的数据。

节点模块503，用于确定存储所述涉及的数据的代理节点。

发送模块504，用于将所述待处理的任务发送给确定的代理节点，指示代理节点处理任务。

可选的，参见图6所示，所述数据模块502包括：任务划分单元5021和数据单元5022。

任务划分单元5021，用于将所述待处理的任务划分为多个待处理的子任务。

数据单元5022，用于确定所述待处理的子任务所涉及的数据。

可选的，所述发送模块504向存储所述涉及的数据的多个代理节点中的一个代理节点发送包括所述待处理的任务的任务处理命令和任务分发命令，指示所述一个代理节点处理任务，并将所述待处理的任务发送给所述多个代理节点中的其它代理节点，其中，所述任务分发命令包括所述多个代理节点的标识。

可选的，参见图7所示，所述装置还包括：接收模块505。

接收模块505，用于接收所述一个代理节点发送的已汇总的任务处理结果，其中，已汇总的任务处理结果是由所述一个代理节点接收其它代理节点发送的任务处理结果并汇总后得到的。

可选的，所述数据采用哈希方式存储；所述节点模块503根据哈希算法确定存储所述涉及的数据的代理节点。

参见图8，本实施例中代理节点(或称承载代理节点的装置)包括：第一接收模块801、处理模块802和第一发送模块803。

第一接收模块801，用于接收中心节点发送的包括待处理的任务的任务处理命令和任务分发命令，其中，所述任务分发命令包括多个代理节点的标识。

处理模块802，用于根据本地数据处理收到的任务。

第一发送模块803，用于根据收到的多个代理节点的标识，将所述待处理的任务发送给多个代理节点。

可选的，参见图9所示，所述装置还包括：第二接收模块804、汇总模块805和第二发送模块806。

第二接收模块804，用于接收其它代理节点发送的任务处理结果。

汇总模块805，用于将收到的任务处理结果和本地获得的任务处理结果汇总，获得已汇总的任务处理结果。

第二发送模块806，用于将已汇总的任务处理结果发送给中心节点。

本实施例中，代理节点既用于存储数据，又用于处理数据。代理节点获得的任务是由中心节点分发的。多个代理节点分担任务的处理。每个代理节点在处理任务时只需要从本地调用数据，该调用过程较短，有效提高了任务处理的效率。

本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种任务处理的方法，其特征在于，包括：

获得待处理的任务；

确定所述待处理的任务所涉及的数据；

确定存储所述涉及的数据的代理节点；

将所述待处理的任务发送给确定的代理节点，指示代理节点处理任务；

所述确定所述待处理的任务所涉及的数据，包括：

将所述待处理的任务划分为多个待处理的子任务；

确定所述待处理的子任务所涉及的数据；

所述确定存储所述涉及的数据的代理节点，包括：

根据哈希算法确定存储所述涉及的数据的代理节点。

2.如权利要求1所述的方法，其特征在于，所述将所述待处理的任务发送给确定的代理节点，指示代理节点处理任务，包括：

向存储所述涉及的数据的多个代理节点中的一个代理节点发送包括所述待处理的任务的任务处理命令和任务分发命令，指示所述一个代理节点处理任务，并将所述待处理的任务发送给所述多个代理节点中的其它代理节点，其中，所述任务分发命令包括所述多个代理节点的标识。

3.如权利要求2所述的方法，其特征在于，所述方法还包括：

接收所述一个代理节点发送的已汇总的任务处理结果，其中，已汇总的任务处理结果是由所述一个代理节点接收其它代理节点发送的任务处理结果并汇总后得到的。

4.一种任务处理的方法，其特征在于，包括：

接收中心节点发送的包括待处理的任务的任务处理命令和任务分发命令，其中，所述任务分发命令包括多个代理节点的标识；

根据本地数据处理收到的任务，所述本地数据采用哈希方式存储；

根据收到的多个代理节点的标识，将所述待处理的任务发送给多个代理节点。

5.如权利要求4所述的方法，其特征在于，所述方法还包括：

接收其它代理节点发送的任务处理结果；

将收到的任务处理结果和本地获得的任务处理结果汇总，获得已汇总的任务处理结果；

将已汇总的任务处理结果发送给中心节点。

6.一种任务处理的装置，其特征在于，包括：

获取模块，用于获得待处理的任务；

数据模块，用于确定所述待处理的任务所涉及的数据；

节点模块，用于确定存储所述涉及的数据的代理节点；

发送模块，用于将所述待处理的任务发送给确定的代理节点，指示代理节点处理任务；

所述数据模块包括：

任务划分单元，用于将所述待处理的任务划分为多个待处理的子任务；

数据单元，用于确定所述待处理的子任务所涉及的数据；

所述节点模块根据哈希算法确定存储所述涉及的数据的代理节点。

7.如权利要求6所述的装置，其特征在于，所述发送模块向存储所述涉及的数据的多个代理节点中的一个代理节点发送包括所述待处理的任务的任务处理命令和任务分发命令，指示所述一个代理节点处理任务，并将所述待处理的任务发送给所述多个代理节点中的其它代理节点，其中，所述任务分发命令包括所述多个代理节点的标识。

8.如权利要求7所述的装置，其特征在于，所述装置还包括：

接收模块，用于接收所述一个代理节点发送的已汇总的任务处理结果，其中，已汇总的任务处理结果是由所述一个代理节点接收其它代理节点发送的任务处理结果并汇总后得到的。

9.一种任务处理的装置，其特征在于，包括：

第一接收模块，用于接收中心节点发送的包括待处理的任务的任务处理命令和任务分发命令，其中，所述任务分发命令包括多个代理节点的标识；

处理模块，用于根据本地数据处理收到的任务，所述本地数据采用哈希方式存储；

第一发送模块，用于根据收到的多个代理节点的标识，将所述待处理的任务发送给多个代理节点。

10.如权利要求9所述的装置，其特征在于，所述装置还包括：

第二接收模块，用于接收其它代理节点发送的任务处理结果；

汇总模块，用于将收到的任务处理结果和本地获得的任务处理结果汇总，获得已汇总的任务处理结果；

第二发送模块，用于将已汇总的任务处理结果发送给中心节点。