CN111259045B - 一种数据处理方法、装置、服务器及介质 - Google Patents

Abstract

本申请适用于数据处理技术领域，提供了一种数据处理方法、装置、服务器及介质，所述方法包括：接收中央服务器发送的数据汇总指令；根据所述数据汇总指令对节点服务器存储的数据进行分组汇总，并将汇总数据上报至所述中央服务器；接收所述中央服务器发送的临界值，所述临界值由所述中央服务器根据多个节点服务器的汇总数据确定；根据所述临界值对所述节点服务器存储的数据进行处理。通过上述方法，能够提高数据处理的效率，节省存储空间。

Description

一种数据处理方法、装置、服务器及介质

技术领域

本申请属于数据处理技术领域，尤其涉及一种数据处理方法、装置、服务器及介质。

背景技术

在计算机技术领域，经常需要对大量的数据进行处理。例如进行数据采集、数据排序和数据筛选。当需要处理的数据量很大时，整个数据处理的过程消耗资源多且需要时间长。

分布式计算能够将一个大问题拆分成多个子问题，然后在各个分节点解决子问题，从而缩短解决整个大问题的时间。但是，目前虽然可以利用分布式计算采集数据，但在进行数据排序和筛选时，还是要将大量数据集中处理，对所有的数据采用同一个计算设备进行顺序处理，需要耗费大量的网络传输和存储资源，而且计算时间比较长。

发明内容

本申请实施例提供了一种数据处理方法、装置、服务器及介质，可以解决数据处理消耗资源多、效率低的问题。

第一方面，本申请实施例提供了一种数据处理方法，应用于节点服务器，所述方法包括：

接收中央服务器发送的数据汇总指令；

根据所述数据汇总指令对节点服务器存储的数据进行分组汇总，并将汇总数据上报至所述中央服务器；

接收所述中央服务器发送的临界值，所述临界值由所述中央服务器根据多个节点服务器的汇总数据确定；

根据所述临界值对所述节点服务器存储的数据进行处理。

第二方面，本申请实施例提供了一种数据处理方法，应用于中央服务器，所述方法包括：

向与所述中央服务器关联的多个节点服务器发送数据汇总指令；

接收所述多个节点服务器根据所述数据汇总指令返回的汇总数据，所述汇总数据由每个节点服务器对存储的数据进行分组汇总获得；

根据所述多个节点服务器返回的汇总数据确定临界值；

将所述临界值发送至所述多个节点服务器，以指示所述多个节点服务器根据所述临界值对存储的数据进行处理。

第三方面，本申请实施例提供了一种数据处理装置，应用于节点服务器，所述装置包括：

指令接收模块，用于接收中央服务器发送的数据汇总指令；

数据汇总模块，用于根据所述数据汇总指令对节点服务器存储的数据进行分组汇总，并将汇总数据上报至所述中央服务器；

临界值接收模块，用于接收所述中央服务器发送的临界值，所述临界值由所述中央服务器根据多个节点服务器的汇总数据确定；

数据处理模块，用于根据所述临界值对所述节点服务器存储的数据进行处理。

第四方面，本申请实施例提供了一种数据处理装置，应用于中央服务器，所述装置包括：

指令发送模块，用于向与所述中央服务器关联的多个节点服务器发送数据汇总指令；

数据接收模块，用于接收所述多个节点服务器根据所述数据汇总指令返回的汇总数据，所述汇总数据由每个节点服务器对存储的数据进行分组汇总获得；

临界值确定模块，用于根据所述多个节点服务器返回的汇总数据确定临界值；

临界值发送模块，用于将所述临界值发送至所述多个节点服务器，以指示所述多个节点服务器根据所述临界值对存储的数据进行处理。

第五方面，本申请实施例提供了一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面或第二方面所述的方法。

第六方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面或第二方面所述的方法。

第七方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在服务器上运行时，使得服务器执行上述第一方面或第二方面任一项所述的方法。

本申请实施例与现有技术相比存在的有益效果是：在本申请实施例中，中央服务器与多个节点服务器相关联，各个节点服务器接收中央服务器发送的数据汇总指令，然后根据数据汇总指令对节点服务器存储的数据进行分组汇总，并将汇总数据上报至中央服务器；中央服务器根据多个节点服务器的汇总数据确定临界值，节点服务器接收中央服务器发送的临界值，然后根据临界值对节点服务器存储的数据进行处理。数据处理过程中不需要将所有的原始数据全部发送到中央服务器上，而是由节点服务器对数据进行汇总后，再将汇总数据发送到中央服务器上，减少了需要进行传输的数据量，且节省了中央服务器的存储空间。本实施例通过节点服务器和中央服务器共同进行数据处理，提高了数据处理的效率，缩短了计算时间。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例一提供的一种数据处理方法的流程示意图；

图2是本申请实施例二提供的一种数据处理方法的流程示意图；

图3是本申请实施例三提供的一种数据处理方法的流程示意图；

图4是本申请实施例四提供的一种数据处理方法的流程示意图；

图5是本申请实施例五提供的一种数据处理方法的流程示意图；

图6是本申请实施例六提供的一种中央服务器与节点服务器之间的关系示意图；

图7是本申请实施例六提供的一种数据处理方法的流程示意图；

图8是本申请实施例七提供的一种数据处理装置的结构示意图；

图9是本申请实施例八提供的一种数据处理装置的结构示意图；

图10是本申请实施例九提供的服务器的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其他实施例中也可以实现本申请。在其他情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其他特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

图1是本申请实施例一提供的一种数据处理方法的流程示意图，如图1所示，所述方法包括：

S101，接收中央服务器发送的数据汇总指令；

在本申请实施例中，中央服务器与多个节点服务器关联，中央服务器与节点服务器之间可以进行通信，各个节点服务器能够独立地执行任务。本实施例的执行主体为节点服务器，所述节点服务器为可以进行数据筛选和数据传输的服务器，包括云服务器。

具体地，在需要进行数据处理时，中央服务器会向节点服务器发送数据汇总指令，节点服务器接收中央服务器发送的数据汇总指令，根据数据汇总指令进行后续的数据处理。

S102，根据所述数据汇总指令对节点服务器存储的数据进行分组汇总，并将汇总数据上报至所述中央服务器；

具体地，所述节点服务器中存储着大量的原始数据，所述原始数据可以包括数据产生时间、数据值、订单号、客户信息等。节点服务器根据数据汇总指令，对存储的原始数据按照某一特征进行分组。例如可以按照时间段、订单号或者数据值进行分组。然后将每个分组的所有数据对应的数据值相加，得到各个分组对应的汇总数据，将各个分组的汇总数据发送至中央服务器。与中央服务器关联的多个节点服务器在接收到数据汇总指令后，均将汇总数据发送至中央服务器。

S103，接收所述中央服务器发送的临界值，所述临界值由所述中央服务器根据多个节点服务器的汇总数据确定；

上述临界值，可以是进行数据筛选的一个标准。例如临界值可以是一个数据值，若原始数据的数据值大于临界值，则该原始数据为选定的待处理数据；临界值可以是一个时间值，若原始数据的产生时间早于临界值，则该原始数据为选定的待处理数据；临界值可以是一个订单号，若原始数据的订单号在临界值之前，则该原始数据为选定的待处理数据。

具体地，中央服务器接收到各个节点服务器发送的汇总数据后，会将汇总数据进行排序，然后确定一个临界值，并可以通过数据总线将该临界值发送至各个节点服务器，节点服务器接收临界值。

S104，根据所述临界值对所述节点服务器存储的数据进行处理。

各个节点服务器能够独立地执行任务，因而在处理任务的过程中可以产生大量原始数据，根据需要可以对这些数据进行处理。示例性地，各个节点服务器会接收用户的订单，然后需要根据中央服务器指定的规则对符合条件的订单进行确认，向符合条件的订单对应的用户发送申购成功信息。

具体地，节点服务器根据中央服务器确定的临界值，筛选出存储的原始数据中需要的数据，然后根据预设的处理方式进行处理。示例性地，若所述数据为用户申购订单，各个节点服务器上生成了多个用户申购订单，所有申购订单的总金额大于预设的总金额，则需要对数据进行筛选，确定出申购成功的用户，然后对申购成功的用户申购订单进行处理。在进行数据筛选时，可以根据不同的条件选择申购订单，例如，可以选择金额大的订单优先。则中央服务器选定的临界值为一个金额值，节点服务器在接收到临界值后，可以选出存储的订单中金额大于等于临界值的订单，然后将向这些订单对应的用户发送申购成功信息。

本实施例中，数据存储在各个节点服务器上，不需要将全部数据发送到服务器上，而是由节点服务器对数据进行汇总，将汇总数据发送至中央服务器，节省了中央服务器的存储空间，并且减轻了数据传输的压力。数据的筛选由中央服务器和节点服务器共同完成，各个节点服务器能够并行执行，提高了数据处理的效率，节省了数据处理的时间。

图2是本申请实施例二提供的一种数据处理方法的流程示意图，如图2所示，所述方法包括：

S201，接收中央服务器发送的数据汇总指令；

本实施例的执行主体为节点服务器，所述节点服务器与中央服务器关联，上述数据汇总指令由中央服务器发送到节点服务器，可以携带分组信息。

S202，按照所述数据汇总指令中携带的分组信息，对所述节点服务器存储的数据进行分组，计算每个分组的数据和；

具体地，所述数据汇总指令携带的分组信息可以作为节点服务器对存储的数据分组的依据。根据分组信息，节点服务器将存储的大量数据划分为各个分组，然后计算每个分组中的所有数据的数据和，每个数据和相当于对应小组的汇总数据。

示例性地，中央服务器可以根据订单号顺序确定需要处理的原始数据，可以向节点服务器发送数据汇总指令，数据汇总指令携带的分组信息可以为订单号顺序，比如可以指示节点服务器，按照以100为单位进行分组，将订单号在0-100、101-200、201-300…的原始数据分别分为一组，当然每个分组的长度可以根据数据量进行变化。节点服务器将存储的数据划分为多个小组后，计算每个分组内的所有数据的数据和。

示例性地，中央服务器可以根据数据值大小顺序确定需要处理的原始数据，可以向节点服务器发送数据汇总指令，数据汇总指令携带的分组信息可以为数据值大小顺序，此时，节点服务器可以将存储的原始数据按照数据值大小分组，例如将数据值在0-5000，5001-10000，10001-15000，…，的数据分别划分为一组，当然每个分组的长度可以根据数据量进行变化。

S203，将每个分组的数据和发送至所述中央服务器；

具体地，节点服务器将各个分组的数据和发送至中央服务器，中央服务器接收多个关联的节点服务器发送的多个数据和。

S204，接收所述中央服务器发送的临界值，所述临界值由所述中央服务器根据多个节点服务器的数据和确定；

中央服务器在接收到各个节点服务器发送的数据和之后，可以对数据进行排序，然后根据预设的筛选条件对应的数据额度确定临界值，并将临界值通过数据总线发送至中央服务器。

示例性地，若数据和是节点服务器根据订单号进行分组汇总的，中央服务器可以根据订单号顺序对数据和进行排序，然后从排序后的数据和队列中选出一个数据和，排序在该数据和之前的数据和相加得到的和等于数据额度，则这个选出的数据和对应的订单号片段的第一个订单号可以作为临界值。例如该数据和对应的订单号为601-700的，则可以将订单号601作为临界值。

示例性地，若数据和是节点服务器根据数据值大小进行分组汇总的，中央服务器可以根据数据值大小顺序对数据和进行排序，然后从排序后的数据和队列中选出一个数据和，排序在该数据和之前的数据和相加得到的和等于数据额度，若需要从大到小选择数据值，则可以将这个选出的数据和对应的数据值片段的最后一个数据值作为临界值。例如该数据和对应的数据值为10001-20000的，则可以将数据值20000作为临界值。

S205，根据所述临界值，识别所述节点服务器存储的数据中的待处理数据；

具体地，根据数据筛选条件和临界值，节点服务器从存储的数据中筛选出待处理数据。

例如，若优先选择数据值比较大的，则节点服务器可以将存储的数据中，数据值大于临界值的数据识别为待处理数据。若优先选择订单号比较小的，则节点服务器可以将存储的数据中订单号小于临界值的数据识别为待处理数据。

S206，按照预设方式对所述待处理数据进行处理。

具体地，节点服务器从存储的数据中识别出待处理数据后，可以按照预设的一个处理方式对这个数据进行处理。例如，节点服务器存储的数据为订单数据，可以向待处理数据对应的用户发送申购成功信息。

在本实施例中，数据存储在节点服务器，不需要全部传输到中央服务器上，数据筛选时，各个节点服务器先对数据进行了分组汇总，中央服务器再根据汇总的数据确定临界值，之后各个节点服务器根据临界值完成数据处理，数据处理过程可以由各个节点服务器并行执行，提高了数据处理的效率。

图3是本申请实施例三提供的一种数据处理方法的流程示意图，如图3所示，所述方法包括：

S301，接收中央服务器发送的数据汇总指令；

具体地，本实施例的执行主体为节点服务器，各个节点服务器存储着数据，可以独立地执行任务。当需要对各个节点服务器中的数据进行统一的处理时，中央服务器向各个关联的节点服务器发送数据汇总指令。节点服务器接收数据汇总指令，并根据数据汇总指令进行后续的处理。

S302，按照所述分组时间段，对所述节点服务器存储的数据进行分组，计算每个时间段内的数据和；

具体地，数据汇总指令中可以携带分组时间段，节点服务器可以根据分组时间段将存储的数据分为各个分组，再计算每个分组的数据和，该数据和为汇总数据。例如，分组时间段为1秒，则节点服务器将根据数据的产生时间，将在同一秒内的数据划分到一个分组，然后计算每一秒内产生的所有数据的数据和。当然分组时间段的长度可以根据实际需求进行调整，例如当数据分布比较分散时，可以将分组时间段的长度增大。

S303，接收所述中央服务器发送的临界值，所述临界值由所述中央服务器根据多个节点服务器的汇总数据确定；

具体地，中央服务器在接收到各个节点服务器发送的数据和后，可以按照时间顺序对接收到的数据和进行排序。对于排列好的数据和，从第一个数据和开始，逐个将其相加，并根据相加的结果判断是否满足数据筛选的限定条件当从排序的第一个数据和逐个相加到某一数据和a时，得到的数值满足预设条件，则可以将数据和a所对应的时间段识别为筛选待处理数据所需的临界值。

中央服务器确定临界值后，将临界值下发到各个关联的节点服务器。

S304，确定所述临界值对应的时间点；

具体地，上述时间点可以为临界值对应数据和的时间段的开始时间。例如，分组时间段长度为1分钟，确定的临界值对应的时间段为12:00-12:01，则可以将12:00:00作为临界值对应的时间点。

S305，在所述节点服务器存储的数据中，识别所述数据时间信息小于所述临界值对应的时间点的数据为所述待处理数据；

具体地，在对数据进行筛选时，需要按时间顺序筛选出固定数据额度的数据，节点服务器存储的数据包括数据的时间信息，若某一数据的时间信息对应的时间点小于临界值对应的时间点，则可以识别该数据为待处理数据。

S306，按照预设方式对所述待处理数据进行处理；

具体地，对筛选出来的待处理数据，按照预设的方式继续进行处理。若各个数据表示申购的订单，可以向各个订单所对应的客户发送申购成功信息。

S307，获取根据所述临界值处理得到的目标数据，将所述目标数据上报至所述中央服务器；

具体地，中央服务器在确定临界值时，可能存在这种情况，临界值之前的数据和相加得到的第一数值小于预设的数据额度，该第一数值再加上临界值对应的数据和大于预设的数据额度。在这种情况下，节点服务器根据临界值识别待处理数据时，会有一小部分待处理数据不能识别。这一小部分待处理数据分布在临界值对应的数据和对应的分组中。这一分组中的数据为目标数据，各个节点服务器将目标数据上报至中央服务器。

S308，接收所述中央服务器针对所述目标数据返回的临界数据，确定所述临界数据所属的目标分组；

各个节点服务器将临界值对应的目标数据和所在分组中的数据上报至中央服务器后，中央服务器对这些目标数据再次根据不同的标准进行排序，比如可以根据金额大小，或者订单号进行排序。对于排序好的各个目标数据，可以逐个将其相加，若存在一个目标数据，其之前的目标数据相加的得到的第二数值与第一数值的和等于预设的数据额度，可以将该数据识别为临界数据，并将临界数据下发至各个节点服务器。

具体地，各个节点服务器接收中央服务器发送的临界数据，并确定临界数据存在的目标分组。

S309，按照预设方式，对所述目标分组中的数据进行处理。

具体地，若在S308步骤中选择对数据按照数据值大小进行排序，则对目标分组中数据筛选的标准为数据值大的优先，可以将目标分组中数据值大于临界数据的数据值的数据识别为待处理数据，对待处理数据按照S306所述步骤进行处理。

在本实施例中，中央服务器不需要对大量的原始数据进行筛选，各个节点服务器共同承担了大部分的数据筛选工作，提高了数据处理的效率、缩短了计算时间；中央服务器只需要接收节点服务器发送的少量的数据和，再进行筛选，减少了中央服务器的计算工作，节省了中央服务器的存储空间。

图4是本申请实施例四提供的一种数据处理方法的流程示意图，如图4所示，所述方法包括：

S401，向与所述中央服务器关联的多个节点服务器发送数据汇总指令；

本实施例的执行主体为中央服务器，所述中央服务器为能够进行数据处理和通讯的计算设备，包括云服务器。所述中央服务器可以和多个节点服务器相关联，每个节点服务器能与中央服务器进行数据传输，并能独立地执行任务。

当需要进行数据处理时，首先要从大量数据中根据指定的规则选取待处理数据。中央服务器根据指定的规则，向关联的多个节点服务器发送数据汇总指令，指示各个节点服务器汇总并上报数据。各个节点服务器在接收到中央服务器发送的数据汇总指令后，对各自存储的数据按照中央服务器的要求进行汇总，例如计算每个时间段的数据和，然后将汇总的数据和发送至中央服务器。

S402，接收所述多个节点服务器根据所述数据汇总指令返回的汇总数据，所述汇总数据由每个节点服务器对存储的数据进行分组汇总获得；

具体地，各个节点服务器在接收到中央服务器发送的数据汇总指令后，会将存储的数据分组汇总，并将汇总数据发送至中央服务器，中央服务器将、接收各个节点服务器发送的汇总数据然后进行处理。

S403，根据所述多个节点服务器返回的汇总数据确定临界值；

具体地，中央服务器基于一个预设的数据额度确定临界值，各个分节点根据该临界值选择的待处理数据的数据和等于该数据额度。中央服务器将接收到的汇总数据按照数据汇总指令所携带的分组信息进行排序，在排序好的汇总数据中，逐个对汇总数据进行相加，直到相加得到的数据值等于预设的数据额度，将此时对应的汇总数据对应的信息作为临界值。

示例性地，若汇总数据是节点服务器根据订单号进行分组汇总的，中央服务器可以根据订单顺序对汇总数据进行排序，然后从排序后的汇总数据队列中选出一个汇总数据，排序在该汇总数据之前的汇总数据相加得到的和等于数据额度，则这个选出的汇总数据对应的订单号片段的第一个订单号可以作为临界值。例如该汇总数据对应的订单号为601-700的，则可以将订单号601作为临界值。

示例性地，若汇总数据是节点服务器根据数据值大小进行分组汇总的，中央服务器可以根据数据值大小顺序对汇总数据进行排序，然后从排序后的汇总数据队列中选出一个汇总数据，排序在该汇总数据之前的汇总数据相加得到的和等于数据额度，若需要从大到小选择数据值，则可以将这个选出的汇总数据对应的数据值片段的最后一个数据值作为临界值。例如该汇总数据对应的数据值为10001-20000的，则可以将数据值20000作为临界值。

S404，将所述临界值发送至所述多个节点服务器，以指示所述多个节点服务器根据所述临界值对存储的数据进行处理。

具体地，中央服务器将临界值下发至各个节点服务器，各个节点服务器根据临界值识别出存储的数据中的待处理数据，然后按照预设的处理方式对待处理数据进行处理。

在本实施例中，数据存储在各个节点服务器上，不需要全部发送到中央服务器上，节省了中央服务器的存储空间，并且降低了对数据传输速率的需求。数据的筛选由中央服务器和节点服务器共同完成，各个节点服务器能够并行执行，提高了数据处理的效率，节省了数据处理的时间。

图5是本申请实施例五提供的一种数据处理方法的流程示意图，如图5所示，所述方法包括：

S501，向与所述中央服务器关联的多个节点服务器发送数据汇总指令；

具体地，中央服务器向关联的多个节点服务器发送数据汇总指令，所述数据汇总指令可以携带分组时间段，各个节点服务器可以根据分组时间段将存储的数据划分为各个小组。

S502，接收所述多个节点服务器根据所述数据汇总指令返回的汇总数据，所述汇总数据由每个节点服务器对存储的数据进行分组汇总获得；

具体地，各个节点服务器接收到中央服务器的数据汇总指令后，将存储的数据划分为根据时间段划分为各个小组，然后计算每个时间段的数据和作为汇总数据，并将汇总数据发送至中央服务器。

S503，按照所述分组时间段，对所述多个节点服务器返回的汇总数据进行排序；

具体地，中央服务器将接收到的汇总数据按照时间顺序进行排序。

S504，逐个对排序后的汇总数据进行相加；

具体地，对于排序后的汇总数据，可以将各个汇总数据逐个相加。比如，对各个汇总数据进行排序得到一组数据a1，a2，a3，…，ax，…，an，然后逐个相加，计算S1＝a1；S2＝S1+a2；…；Sx＝Sx-1+ax；…；Sn＝Sn-1+an。

S505，当相加得到的数值满足预设限定条件时，识别所述数值对应的时间段为待处理数据的临界值；

具体地，上述预设限定条件可以包括一个预设的数据额度。各个节点服务器根据临界值识别出来的待处理数据的和等于数据额度。中央服务器可以将各个节点服务器上报的汇总数据按照时间顺序进行排序，对于排序好的汇总数据，若某一个汇总数据之前的所有数据相加得到的和等于预设的数据额度，则可以将该汇总数据对应的时间段作为临界值。比如，预设的数据额度为B，若S_x-1＝B，则x对应的时间段可以为时间临界值。

S506，将所述临界值发送至所述多个节点服务器，以指示所述多个节点服务器根据所述临界值对存储的数据进行处理。

具体地，中央服务器将确定好的时间临界值下发至各个节点服务器，各个节点服务器识别存储的数据中产生时间早于时间临界值的数据为待处理数据，然后按照预设的处理方式对待处理数据进行处理。

在本实施例中，数据存储在节点服务器，不需要全部传输到中央服务器上，数据筛选时，各个节点服务器先对数据进行了分组汇总，中央服务器再根据汇总的数据确定临界值，之后各个节点服务器根据临界值完成数据筛选，并对筛选出的待处理数据进行处理。数据处理可以通过各个节点服务器并行执行，提高了数据处理的效率。

为了更好地进行说明，采用一具体实例对本申请中的数据处理方法进行说明。

图6是本申请实施例六提供的一种中央服务器与节点服务器之间的关系示意图，如图6所示，中央服务器与多个节点服务器通过数据总线连接，通讯总线包括消息命令传输、数据传输的中间件。中央服务器包括总部服务和高速缓存区，总部服务中包括数据处理需要的执行程序，高速内存缓存区可以存储各个分节点上报的数据。节点服务器包括节点服务和节点数据，节点服务包括数据汇总和处理的执行程序，节点数据用于存储数据。在进行数据处理时，可以采用如图7所示的方法，中央服务器通过数据总线下发数据汇总指令到各个节点服务器；各个节点服务器接收到数据汇总指令后，将存储在节点数据中的数据根据数据汇总指令进行分组汇总并通过数据总线将汇总数据上报至中央服务器；中央服务器可以将接收到的汇总数据存储在高速内存缓存区，再调用总部服务中的程序对节点服务器上报的汇总数据进行排序并确定临界值，并将临界值通过数据总线下发到各个节点服务器，各个节点服务器再根据总部下发的临界值调用节点服务中的程序对数据进行筛选并处理。

以证券产品申购过程中的数据处理为例。证券产品申购可以通过注册登记***(TransferAgent，TA)实现，TA在中央服务器上，可以按照一定的业务规则，将数据分发到不同的节点服务器上处理，数据存储采用分库分表的方式，因此TA具有数据量大和数据分散的特点。以TA业务进行举例说明，例如产品申购限制金额为100亿，当天各个节点服务器接收到的订单金额总和为150亿，此时需要按照时间顺序选取100亿的申购订单，若时间顺序相同，申购金额较大的申购订单优先。在此次进行数据处理的过程中，订单的选取可以按照如下方法进行：

中央服务器向各个节点服务器发布数据汇总指令，指示各个节点服务器按时间分组汇总申报金额并上报按时间分组的申购金额总额；

各个节点服务器在接收到中央服务器的指令后，将各个节点服务器上产生的申购订单按交易时间进行汇总，汇总单个时间(粒度到秒级)的申购金额总数，并将汇总数据报送给中央服务器。

中央服务器将接收的分组汇总数据按照申请时间排序，从头部逐组确认，直到100亿金额用满，找到超额的申请时间临界值，例如14:01:58，然后将14:01:58这一时间临界值下发至各个节点服务器。

在接收到中央服务器发送的申请时间临界值14:01:58后，各个节点服务器并行将各自节点14:01:58时间之前申请确认成功，其余申购确认失败。

若临界值一秒(14:01:58)内存在大量申购情况，时间临界值无法定位到单笔的申购订单，则根据认购规则，第二优先条件为申购金额大小，对认购时间为14:01:58的申购订单按金额汇总；

中央服务器再向各个节点服务器发送指令，指示各个节点上报认购时间为14:01:58的申购订单，再根据上报的各个订单的申购金额确定临界金额，例如5000，然后将临界金额5000下发至各个节点服务器。各个节点服务器将14:01:58内产生的申购金额大于5000的申购订单确认成功，完成整个订单申购过程。

这种通过分布式数据排序筛选组件进行数据处理的方法，与传统方法相比，可以有效降低同类业务场景所需的网络、存储资源，且可以使用各个节点服务器资源非常地高效进行数据处理。

例如：10个节点服务器，单笔申购金额均1万，总募集金额为100亿。现在产生的总交易笔数150万，实际申请为150亿的超额募集，申请时间分布于早9:00:00～15:00:00时间。若各个节点服务器按秒进行汇总，分组汇总按1个小时3600秒，总共需要传输分组数据21600条，传统方法需要传输数据1500000条，因此本方法降低了网络传输的负担；总部节点只需要对21600条数据存储排序，节省了存储使用空间，降低了排序耗费的计算资源。找到临界值发布给各个节点服务器分布式处理，可以并发执行，且执行完成后数据结果直接存储，不再需要中央服务器筛选完后再通知各节点服务器，减少业务处理步骤，提高执行效率。

另外，还可能按照不同的规则进行金额申购确定。在进行金额认购选择时，可以选择不同的关键字，例如时间、金额、订单号等；用户可以直接选择某一关键字作为优先的排序依据，再选择另一关键字是作为第二顺位的排序依据。例如用户可以选择金额作为第一排序依据，当金额相同时，可以选择订单号作为第二排序依据

图8是本申请实施例七提供的一种数据处理装置的结构示意图，如图8所示，所述装置包括：

指令接收模块81，用于接收中央服务器发送的数据汇总指令；

数据汇总模块82，用于根据所述数据汇总指令对节点服务器存储的数据进行分组汇总，并将汇总数据上报至所述中央服务器；

临界值接收模块83，用于接收所述中央服务器发送的临界值，所述临界值由所述中央服务器根据多个节点服务器的汇总数据确定；

数据处理模块84，用于根据所述临界值对所述节点服务器存储的数据进行处理。

上述数据汇总模块82包括如下子模块：

计算子模块，用于按照所述数据汇总指令中携带的分组信息，对所述节点服务器存储的数据进行分组，计算每个分组的数据和；

数据和发送子模块，用于将每个分组的数据和发送至所述中央服务器。

上述计算子模块包括：

各个时间段数据和计算单元，用于按照所述分组时间段，对所述节点服务器存储的数据进行分组，计算每个时间段内的数据和。

上述数据处理模块84包括如下子模块：

识别子模块，用于根据所述临界值，识别所述节点服务器存储的数据中的待处理数据；

处理子模块，用于按照预设方式对所述待处理数据进行处理。

上述装置中，所述节点服务器存储的数据分别具有相应的数据时间信息，所述识别子模块，包括：

确定单元，用于确定所述临界值对应的时间点；

判断单元，用于在所述节点服务器存储的数据中，识别所述数据时间信息小于所述临界值对应的时间点的数据为所述待处理数据。

上述装置还包括：

目标数据上报模块，用于获取根据所述临界值处理得到的目标数据，将所述目标数据上报至所述中央服务器；

目标分组确定模块，用于接收所述中央服务器针对所述目标数据返回的临界数据，确定所述临界数据所属的目标分组；

目标分组中数据处理模块，用于按照预设方式，对所述目标分组中的数据进行处理。

图9是本申请实施例八提供的一种数据处理装置的结构示意图，如图9所示，所述装置包括：

指令发送模块91，用于向与所述中央服务器关联的多个节点服务器发送数据汇总指令；

数据接收模块92，用于接收所述多个节点服务器根据所述数据汇总指令返回的汇总数据，所述汇总数据由每个节点服务器对存储的数据进行分组汇总获得；

临界值确定模块93，用于根据所述多个节点服务器返回的汇总数据确定临界值；

临界值发送模块94，用于将所述临界值发送至所述多个节点服务器，以指示所述多个节点服务器根据所述临界值对存储的数据进行处理。

上述装置中，所述数据汇总指令包括相应的分组信息，所述分组信息包括分组时间段，上述临界值确定模块93包括如下子模块：

排序子模块，用于按照所述分组时间段，对所述多个节点服务器返回的汇总数据进行排序；

逐个计算子模块，用于逐个对排序后的汇总数据进行相加；

识别子模块，用于当相加得到的数值满足预设限定条件时，识别所述数值对应的时间段为待处理数据的临界值。

图10为本申请实施例九提供的服务器的结构示意图。如图10所示，该实施例的服务器10包括：至少一个处理器1000(图10中仅示出一个)处理器、存储器1001以及存储在所述存储器1001中并可在所述至少一个处理器1000上运行的计算机程序1002，所述处理器1000执行所述计算机程序1002时实现上述任意各个方法实施例中的步骤。

所述服务器10可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该服务器可包括，但不仅限于，处理器1000、存储器1001。本领域技术人员可以理解，图10仅仅是服务器10的举例，并不构成对服务器10的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。

所称处理器1000可以是中央处理单元(CentralProcessingUnit，CPU)，该处理器1000还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器1001在一些实施例中可以是所述服务器10的内部存储单元，例如服务器10的硬盘或内存。所述存储器1001在另一些实施例中也可以是所述服务器10的外部存储设备，例如所述服务器10上配备的插接式硬盘，智能存储卡(SmartMediaCard，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(FlashCard)等。进一步地，所述存储器1001还可以既包括所述服务器10的内部存储单元也包括外部存储设备。所述存储器1001用于存储操作***、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器1001还可以用于暂时地存储已经输出或者将要输出的数据。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在服务器上运行时，使得服务器执行时实现可实现上述各个方法实施例中的步骤。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/服务器的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其他实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其他的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其他的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，应用于节点服务器，所述方法包括：

接收中央服务器发送的数据汇总指令；

根据所述数据汇总指令对节点服务器存储的数据进行分组汇总，并将汇总数据上报至所述中央服务器，所述汇总数据包括每个分组的数据和；

接收所述中央服务器发送的临界值，所述临界值由所述中央服务器根据预设的数据额度以及多个节点服务器的汇总数据的排序结果确定，所述节点服务器根据所述临界值选择的待处理数据的数据和等于所述数据额度；

根据所述临界值对所述节点服务器存储的数据进行处理。

2.如权利要求1所述的方法，其特征在于，所述根据所述数据汇总指令对节点服务器存储的数据进行分组汇总，并将汇总数据上报至所述中央服务器，包括：

按照所述数据汇总指令中携带的分组信息，对所述节点服务器存储的数据进行分组，计算每个分组的数据和；

将每个分组的数据和发送至所述中央服务器。

3.如权利要求2所述的方法，所述分组信息包括分组时间段，所述按照所述数据汇总指令中携带的分组信息，对所述节点服务器存储的数据进行分组，计算每个分组的数据和，包括:

按照所述分组时间段，对所述节点服务器存储的数据进行分组，计算每个时间段内的数据和。

4.如权利要求1-3任一项所述的方法，其特征在于，所述根据所述临界值对所述节点服务器存储的数据进行处理，包括：

根据所述临界值，识别所述节点服务器存储的数据中的待处理数据；

按照预设方式对所述待处理数据进行处理。

5.如权利要求4所述的方法，其特征在于，所述节点服务器存储的数据分别具有相应的数据时间信息，所述根据所述临界值，识别所述节点服务器存储的数据中的待处理数据，包括：

确定所述临界值对应的时间点；

在所述节点服务器存储的数据中，识别所述数据时间信息小于所述临界值对应的时间点的数据为所述待处理数据。

6.如权利要求1或2或3或5所述的方法，其特征在于，还包括：

获取根据所述临界值处理得到的目标数据，将所述目标数据上报至所述中央服务器；

接收所述中央服务器针对所述目标数据返回的临界数据，确定所述临界数据所属的目标分组；

按照预设方式，对所述目标分组中的数据进行处理。

7.一种数据处理方法，其特征在于，应用于中央服务器，所述方法包括：

向与所述中央服务器关联的多个节点服务器发送数据汇总指令；

接收所述多个节点服务器根据所述数据汇总指令返回的汇总数据，所述汇总数据由每个节点服务器对存储的数据进行分组汇总获得，所述汇总数据包括每个分组的数据和；

根据所述多个节点服务器返回的汇总数据确定临界值，所述临界值根据所述汇总数据的排序结果以及预设的数据额度确定，各个所述节点服务器根据所述临界值选择的待处理数据的数据和等于所述数据额度；

将所述临界值发送至所述多个节点服务器，以指示所述多个节点服务器根据所述临界值对存储的数据进行处理。

8.如权利要求7所述的方法，其特征在于，所述数据汇总指令包括相应的分组信息，所述分组信息包括分组时间段，所述根据所述多个节点服务器返回的汇总数据确定临界值，包括：

按照所述分组时间段，对所述多个节点服务器返回的汇总数据进行排序；

逐个对排序后的汇总数据进行相加；

当相加得到的数值满足预设限定条件时，识别所述数值对应的时间段为待处理数据的临界值。

9.一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述服务器为节点服务器或中央服务器；若所述服务器为节点服务器，则所述处理器执行所述计算机程序时实现如权利要求1-6任一项所述的方法；若所述服务器为中央处理器，则所述处理器执行所述计算机程序时实现如权利要求7-8任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的方法。