CN107808313A - 数据合并处理方法、装置及*** - Google Patents

Abstract

本申请公开一种数据合并处理方法、装置及***，该方法包括：接收多条数据记录；在一预设时间内，锁定一注入池，并在锁定期间将接收到的所述多条数据记录注入注入池中；在注入池中，记录多条数据记录的属性信息，并根据属性信息将具有相同属性信息的数据记录合并存储为不同的数据记录集合；以及当注入池被解锁后，根据记录的属性信息从注入池中提取所述数据记录集合。该方法能够对具有共性的订单数据进行合并处理，从而提高配送效率，降低配送成本。

Description

数据合并处理方法、装置及***

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种数据合并处理方法、装置及***。

背景技术

随着电子商务的蓬勃发展，越来越多的电子购物网站随之产生，同时越来越多的消费者选择网购。在购物过程中，会产生若干数据记录(如订单数据)，网站服务器***会将这些线上数据记录每隔一定的时间汇集起来统一进行处理。比如用户在一段时间内可能提交多个订单，这些订单相互独立，按照现有技术的常规物流逻辑，则需要分别单独进行配送，配送效率低。

在所述背景技术部分公开的上述信息仅用于加强对本发明的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本发明提供一种数据合并处理方法、装置及***，能够对具有共性的订单数据进行合并处理，从而提高配送效率，降低配送成本。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明的一方面，提供一种数据合并处理方法，包括：接收多条数据记录；在一预设时间内，锁定一注入池，并在锁定期间将接收到的所述多条数据记录注入注入池中；在注入池中，记录多条数据记录的属性信息，并根据属性信息将具有相同属性信息的数据记录合并存储为不同的数据记录集合；以及当注入池被解锁后，根据记录的属性信息从注入池中提取所述数据记录集合。

根据本发明的一实施方式，上述方法还包括：从预设的多个注入池中，选取注入池。

根据本发明的一实施方式，上述方法还包括：将当前被锁定的注入池的池号记录在注入锁中，以锁定注入池；以及在预设时间后，从注入锁中，删除注入池的池号，以解锁注入池。

根据本发明的一实施方式，上述方法还包括：将当前被锁定的注入池的池号记录在注入辅助锁中；以及当注入池被解锁后，存储记录在注入辅助锁中的注入池的池号。

根据本发明的一实施方式，当注入池被解锁后，根据记录的属性信息从注入池中提取数据记录集合包括：依次锁定存储的所有被解锁的注入池；对于每一被解锁的注入池，在锁定期间判断被解锁的注入池中是否存储有数据记录；以及当注入池中存储有数据记录时，对于记录的每一属性信息，从注入池中提取具有所述属性信息的数据记录集合。

根据本发明的一实施方式，在接收多条数据记录之前，上述方法还包括：缓存多条数据记录。

根据本发明的另一方面，提供一种数据合并处理装置，包括：数据接收模块，用于接收多条数据记录；数据记录模块，用于在一预设时间内，锁定一注入池，并在锁定期间将接收到的多条数据记录注入注入池中；数据合并模块，用于在注入池中，记录多条数据记录的属性信息，并根据属性信息将具有相同属性信息的数据记录合并存储为不同的数据记录集合；以及集合提取模块，用于当注入池被解锁后，根据记录的属性信息从注入池中提取数据记录集合。

根据本发明的一实施方式，上述装置还包括：注入池选取模块，用于从预设的多个注入池中，选取注入池。

根据本发明的一实施方式，上述装置还包括：注入池锁定模块，用于将当前被锁定的注入池的池号记录在注入锁中，以锁定注入池；以及注入池解锁模块，用于在预设时间后，从注入锁中，删除注入池的池号，以解锁注入池。

根据本发明的一实施方式，上述装置还包括：注入池号记录模块，用于将当前被锁定的注入池的池号记录在注入辅助锁中；以及当注入池被解锁后，存储记录在注入辅助锁中的注入池的池号。

根据本发明的一实施方式，集合提取模块包括：注入池锁定子模块，用于依次锁定存储的所有被解锁的注入池；数据判断子模块，用于对于每一被解锁的注入池，在锁定期间判断被解锁的注入池中是否存储有数据记录；以及集合提取子模块，用于当注入池中存储有数据记录时，对于记录的每一属性信息，从注入池中提取具有属性信息的数据记录集合。

根据本发明的一实施方式，上述装置还包括：数据缓存模块，用于缓存所述多条数据记录。

根据本发明的再一方面，提供一种数据合并处理***，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中处理器配置为经由执行可执行指令来执行以下操作：接收多条数据记录；在一预设时间内，锁定一注入池，并在锁定期间将接收到的多条数据记录注入注入池中；在注入池中，记录多条数据记录的属性信息，并根据属性信息将具有相同属性信息的数据记录合并存储为不同的数据记录集合；以及当注入池被解锁后，根据记录的属性信息从注入池中提取数据记录集合。

根据本发明的数据合并处理方法、装置及***，分时地对当前数据记录进行锁定处理，将具有相同属性信息的数据记录合并存放在不同的集合当中，从而实现对具有共性的订单数据进行合并处理，可以提高配送效率，降低配送成本。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。

附图说明

通过参照附图详细描述其示例实施例，本发明的上述和其它目标、特征及优点将变得更加显而易见。

图1是根据一示例性实施方式示出的一种数据合并处理方法的流程图。

图2是根据一示例性实施方式示出的另一种数据合并处理方法的流程图。

图3是根据一示例性实施方式示出的再一种数据合并处理方法的流程图。

图4是根据一示例性实施方式示出的一种数据合并处理装置的框图。

图5是根据一示例性实施方式示出的另一种数据合并处理装置的框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本发明的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本发明的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现或者操作以避免喧宾夺主而使得本发明的各方面变得模糊。

图1是根据一示例性实施方式示出的一种数据合并处理方法的流程图。该方法例如可以通过一内存数据库来实现。如图1所示，该方法10包括：

在步骤S102中，接收多条数据记录。

在电子商务购物过程中，会产生若干数据记录，例如用户购物下单时产生的订单数据。电商***例如通常将用户在购物过程中产生的大量数据记录存储于HBASE数据库中，因此可以从HBASE数据库中接收其存储的数据记录，并存储至上述内存数据库中。

在步骤S104中，在一预设时间内，锁定一注入池，并在锁定期间将接收到的所述多条数据记录注入该注入池中。

锁定一个用于注入数据记录的注入池，并在一预设时间内将当前接收到的数据记录全部注入该注入池中。该预设时间例如可以设置为5分钟，但本发明不以此为限，在实际应用中，其可根据实际需求而设定。

在步骤S106中，在注入池中，记录多条数据记录的属性信息，并根据属性信息将具有相同属性信息的数据记录合并存储为不同的数据记录集合。

例如，可以通过一属性链表记录各条数据的属性信息，将上述各条数据记录的属性信息存入该属性链表中，此外也可以采用其他存储形式进行存储如数组等。该属性链表中仅存储数据记录的属性信息而不用于存储数据记录本身，从而可提高该链表的执行效率。并将具有相同属性信息的数据记录合并存储为不同的数据记录集合。属性信息例如可以包括订单所属用户、订单订购商品的存储信息(如库房信息)等。例如，将具有第一属性信息的所有数据记录存储于第一集合，将具有第二属性信息的所有数据记录存储于第二集合等。

在步骤S108中，当注入池被解锁后，根据记录的属性信息从注入池中提取数据记录集合。

在上述预设时间之后，注入池被解锁。当注入池被解锁后根据记录的属性信息从注入池中提取属性信息对应的数据记录集合。例如，当属性信息存储于上述的属性链表中时，则根据属性链表中存储的各属性信息，分别提取具有各属性信息的不同数据记录集合。

本发明实施方式的数据合并处理方法，分时地对当前数据记录进行锁定处理，将具有相同属性信息的数据记录合并存放在不同的集合当中，从而实现对具有共性的订单数据进行合并处理，可以提高配送效率，降低配送成本。

应清楚地理解，本发明描述了如何形成和使用特定示例，但本发明的原理不限于这些示例的任何细节。相反，基于本发明公开的内容的教导，这些原理能够应用于许多其它实施方式。

图2是根据一示例性实施方式示出的另一种数据合并处理方法的流程图。该方法同样可以通过一内存数据库来实现。如图2所示，该方法20包括：

在步骤S202中，接收多条数据记录。

该步骤与图1所示的方法10中的步骤S102相同，在此不再赘述。

在步骤S204中，从预设的多个注入池中，选取一注入池。

例如，可以预先设置若干个空的注入池，并建立一个空池链表，将注入池的池号放入空池链表中。每次从空池链表中，随机选取一个注入池，作为当前的注入池。

在步骤S206中，将当前被选取的注入池的池号记录在一注入锁中，以锁定该注入池，并在上述预设时间后，从该注入锁中删除该注入池的池号，以解锁注入池。

例如可以通过在建立的注入锁中存储当前被选取的注入池的池号来锁定该注入池；并在预设时间后，通过删除注入锁中存储的池号来解锁该注入池。

在步骤S208中，将当前被选取的注入池的池号同时记录在一注入辅助锁中，并当该注入池被解锁后，存储记录在该注入辅助锁中的注入池的池号。

例如，可以通过建立一满池链表，来存储记录在该注入辅助锁中的出入池的池号。或者，也可以用注入链表等方式存储。

在步骤S210中，依次锁定存储的所有被解锁的注入池；对于每一被解锁的注入池，在锁定期间判断被解锁的注入池中是否存储有数据记录；当注入池中存储有数据记录时，对于记录的每一属性信息，从注入池中提取具有上述属性信息的数据记录集合。

以上述通过满池链表存储被解锁的注入池为例，建立一加工锁，以一预设频率(如每秒一次)遍历该满池链表，依次锁定存储在该满池链表中的所有池号，并判断被该加工锁锁定的注入池中是否有数据记录；当该注入池中有数据记录时，，对于记录的每一属性信息，从该注入池中提取具有该属性信息的数据记录集合。其中属性信息例如记录于上述的属性链表中。

数据记录被合并处理完的注入池重新恢复为空的注入池，并将其池号重新存储至上述空池链表中。

在一些实施例中，注入锁中的注入池池号被删除后，会重新从上述空池链表中选取一个新的注入池的池号记录在注入锁中，新的数据记录将注入新的注入池中，并在将注入辅助锁中存储的池号存储到满池链表后，利用注入锁中存储的新的池号来更新注入辅助锁。

图3是根据一示例性实施方式示出的再一种数据合并处理方法的流程图。与图1和图2所示的方法10和20不同之处在于，图3所示的方法30在接收到多条数据记录后还包括：

在步骤S302中，缓存上述多条数据记录。

例如，可以在HBASE数据库与内存数据库之间设置一内存队列，用来缓存从HBASE数据库接收的多条数据记录。当在内存数据库中进行上述数据合并处理操作中，如果无法及时处理，可利用内存队列对数据记录进行缓存，以防止突发的大数据对内存数据库的冲击。此外，当内存数据库在处理数据时出现问题时，也可以将数据记录暂存在内存队列中。

本发明实施方式的数据合并处理方法，进一步提供了对接收数据记录的缓存功能，从而可以避免突发大数据对***的影响。

本领域技术人员可以理解实现上述实施方式的全部或部分步骤被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时，执行本发明提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中，该存储介质可以是只读存储器，磁盘或光盘等。

此外，需要注意的是，上述附图仅是根据本发明示例性实施方式的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。

图4是根据一示例性实施方式示出的一种数据合并处理装置的框图。如图4所示，该装置40包括：数据接收模块402、数据记录模块404、数据合并模块406及集合提取模块408。

其中，数据接收模块402用于接收多条数据记录。

数据记录模块404用于在一预设时间内，锁定一注入池，并在锁定期间将接收到的多条数据记录注入注入池中。

数据合并模块406用于在注入池中，记录多条数据记录的属性信息，并根据属性信息将具有相同属性信息的数据记录合并存储为不同的数据记录集合。

集合提取模块408用于当注入池被解锁后，根据记录的属性信息从注入池中提取数据记录集合。

本发明实施例的数据合并处理装置，分时地对当前数据记录进行锁定处理，将具有相同属性信息的数据记录合并存放在不同的集合当中，从而实现对具有共性的订单数据进行合并处理，可以提高配送效率，降低配送成本。

图5是根据一示例性实施方式示出的另一种数据合并处理装置的框图。如图5所示，该装置50包括：数据接收模块502、注入池选取模块504、注入池锁定模块506、数据记录模块508、数据合并模块510、注入池解锁模块512、注入池号记录模块514及集合提取模块516。

其中，数据接收模块502用于接收多条数据记录。

注入池选取模块504用于从预设的多个注入池中，选取注入池。

注入池锁定模块506用于将当前被选取的注入池的池号记录在注入锁中，以锁定该注入池。

数据记录模块508用于在一预设时间内，将接收到的多条数据记录注入该被锁定的注入池中。

数据合并模块510用于在注入池中，记录多条数据记录的属性信息，并根据属性信息将具有相同属性信息的数据记录合并存储为不同的数据记录集合。

注入池解锁模块512用于在预设时间后，从注入锁中，删除注入池的池号，以解锁注入池。

注入池号记录模块514用于将当前被锁定的注入池的池号记录在注入辅助锁中；以及当注入池被解锁后，存储记录在注入辅助锁中的注入池的池号。

集合提取模块516用于当注入池被解锁后，根据记录的属性信息从注入池中提取数据记录集合。

在一些实施例中，集合提取模块516包括：注入池锁定子模块5162、数据判断子模块5164及集合提取子模块5166。注入池锁定子模块5162用于依次锁定存储的所有被解锁的注入池。数据判断子模块5164用于对于每一被解锁的注入池，在锁定期间判断被解锁的注入池中是否存储有数据记录。集合提取子模块5166用于当注入池中存储有数据记录时，对于记录的每一属性信息，从注入池中提取具有属性信息的数据记录集合。

此外，图4所示的装置40及图5所示的装置50还可以包括数据缓存模块，用于缓存接收到的多条数据记录。该数据缓存模块例如可以为一内存队列。

本发明还提供一种数据合并处理***，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中处理器配置为经由执行可执行指令来执行以下操作：接收多条数据记录；在一预设时间内，锁定一注入池，并在锁定期间将接收到的多条数据记录注入注入池中；在注入池中，记录多条数据记录的属性信息，并根据属性信息将具有相同属性信息的数据记录合并存储为不同的数据记录集合；以及当注入池被解锁后，根据记录的属性信息从注入池中提取数据记录集合。

需要注意的是，上述附图中所示的框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本发明实施方式的方法。

以上具体地示出和描述了本发明的示例性实施方式。应可理解的是，本发明不限于这里描述的详细结构、设置方式或实现方法；相反，本发明意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (13)

1.一种数据合并处理方法，其特征在于，包括：

接收多条数据记录；

在一预设时间内，锁定一注入池，并在锁定期间将接收到的所述多条数据记录注入所述注入池中；

在所述注入池中，记录所述多条数据记录的属性信息，并根据所述属性信息将具有相同属性信息的数据记录合并存储为不同的数据记录集合；以及

当所述注入池被解锁后，根据记录的所述属性信息从所述注入池中提取所述数据记录集合。

2.根据权利要求1所述的方法，其特征在于，还包括：从预设的多个注入池中，选取所述注入池。

3.根据权利要求2所述的方法，其特征在于，还包括：

将当前被锁定的所述注入池的池号记录在注入锁中，以锁定所述注入池；以及

在所述预设时间后，从所述注入锁中，删除所述注入池的池号，以解锁所述注入池。

4.根据权利要求3所述的方法，其特征在于，还包括：

将当前被锁定的所述注入池的池号记录在注入辅助锁中；以及

当所述注入池被解锁后，存储记录在所述注入辅助锁中的所述注入池的池号。

5.根据权利要求4所述的方法，其特征在于，当所述注入池被解锁后，根据记录的所述属性信息从所述注入池中提取所述数据记录集合包括：

依次锁定存储的所有被解锁的注入池；

对于每一被解锁的注入池，在锁定期间判断所述被解锁的注入池中是否存储有数据记录；以及

当所述注入池中存储有所述数据记录时，对于记录的每一属性信息，从所述注入池中提取具有所述属性信息的数据记录集合。

6.根据权利要求1-5任一项所述的方法，其特征在于，在接收所述多条数据记录之前，还包括：缓存所述多条数据记录。

7.一种数据合并处理装置，其特征在于，包括：

数据接收模块，用于接收多条数据记录；

数据记录模块，用于在一预设时间内，锁定一注入池，并在锁定期间将接收到的所述多条数据记录注入所述注入池中；

数据合并模块，用于在所述注入池中，记录所述多条数据记录的属性信息，并根据所述属性信息将具有相同属性信息的数据记录合并存储为不同的数据记录集合；以及

集合提取模块，用于当所述注入池被解锁后，根据记录的所述属性信息从所述注入池中提取所述数据记录集合。

8.根据权利要求7所述的装置，其特征在于，还包括：注入池选取模块，用于从预设的多个注入池中，选取所述注入池。

9.根据权利要求8所述的装置，其特征在于，还包括：

注入池锁定模块，用于将当前被锁定的所述注入池的池号记录在注入锁中，以锁定所述注入池；以及

注入池解锁模块，用于在所述预设时间后，从所述注入锁中，删除所述注入池的池号，以解锁所述注入池。

10.根据权利要求9所述的装置，其特征在于，还包括：

注入池号记录模块，用于将当前被锁定的所述注入池的池号记录在注入辅助锁中；以及

当所述注入池被解锁后，存储记录在所述注入辅助锁中的所述注入池的池号。

11.根据权利要求10所述的装置，其特征在于，所述集合提取模块包括：

注入池锁定子模块，用于依次锁定存储的所有被解锁的注入池；

数据判断子模块，用于对于每一被解锁的注入池，在锁定期间判断所述被解锁的注入池中是否存储有数据记录；以及

集合提取子模块，用于当所述注入池中存储有所述数据记录时，对于记录的每一属性信息，从所述注入池中提取具有所述属性信息的数据记录集合。

12.根据权利要求7-11任一项所述的装置，其特征在于，还包括：数据缓存模块，用于缓存所述多条数据记录。

13.一种数据合并处理***，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中所述处理器配置为经由执行所述可执行指令来执行以下操作：

接收多条数据记录；

在一预设时间内，锁定一注入池，并在锁定期间将接收到的所述多条数据记录注入所述注入池中；

在所述注入池中，记录所述多条数据记录的属性信息，并根据所述属性信息将具有相同属性信息的数据记录合并存储为不同的数据记录集合；以及

当所述注入池被解锁后，根据记录的所述属性信息从所述注入池中提取所述数据记录集合。