CN105512313B - 一种增量式数据处理的方法和装置 - Google Patents

Abstract

本发明提供一种增量式数据处理的方法和装置，能够在保证数据完整及准确的前提下，提高业务数据的加工效率，降低存储空间，提高使用效率，进而极大地节省了集群资源。该方法用于对业务数据进行处理，每个业务具有预定的完成期限且每个业务的数据集包括一个或多个数据元素，每个数据元素设有创建日期，该方法包括：获得该业务的完成期限M；读取该业务对应的业务数据集中创建日期为最近前M+N个单位时间的所有数据元素，并按照预定的业务逻辑加工所述数据元素；当所读取的数据元素的创建时间中最早的创建时间是第前M+N个单位时间时，则建立当前时间单位的增量数据分区并且把加工后的数据元素***到该增量数据分区。

Description

一种增量式数据处理的方法和装置

技术领域

本发明涉及计算机技术领域，特别地涉及一种增量式数据处理的方法和装置。

背景技术

随着互联网及电商的快速发展、业务形式的多样化以及人们对互联网依赖程度的增加，企业数据仓库所承载的数据量呈现爆发式的增长，海量数据的存储与加工也对集群资源带来了非常大的挑战。另外，某个业务流程，可能经查出现各种“意外”，导致某个环节重新进行或者长时间锁定，需要跨天甚至跨多天才能完成。但是有些事实表往往不需要保留流程细节，尤其不需要保留错误的细节，只需要保留某个业务单号最终的现象。因此，高效地针对跨业务线、跨多天、常反复进行的业务进行加工和存储，不仅能够极大地节省集群资源，也能使后续业务***更清晰地了解数据的组织结构以及使用方法。

以仓储***中订单在库房的生产过程为例，用户下单，订单下传到库房，会经历仓库管理***WMS(Warehouse Management System的缩写)接收--定位--分配--打印--拣货--复核--打包--派工等一系列流程，每一个流程都有可能而且很容易出现问题，导致整个流程或个别流程需要重新进行。甚至由于断电、机器故障、网络、以及订单取消、锁定等原因，某些订单甚至需要几个月的时间才能生产完毕，为了保证事实表中数据的正确性与完整性，现在的方法为每天全量加工所有订单在库房的生产过程。所谓全量加工，指的是对所有的历史数据进行加工。

以仓储***的订单生产事实表T-Tab(Target_table的简称)为例进行说明。T-Tab以时间日期dt为分区，订单生产表涉及的底层拉链表(用于记录一个事物从开始一直到当前状态的所有变化信息的表)有出货单表(Tab1)，订单预分拣表(Tab2)，订单取消表(TabN)等N个表。Tab1、Tab2、…、TabN等N个表均为拉链表，创建时间(createdate)即是业务时间。同一订单，从下传到WMS，到派工，可能跨越不同的日期，即跨天，甚至由于订单锁定、取消等原因，会跨越多天，因此，无法进行准确的增量加工，即：按照一定的条件为标准，只加工符合该条件的数据，不符合该条件的数据不进行加工。目前的方案就是每天全量加工N个表中的所有数据，放入目标表的dt分区。

即：该事实表每天的加工过程如下，假设数据是在2015-09-21号进行加工，数据的加工过程如图1所示。T-Tab以dt为数据分区，其存储方式如下面的表1所示。

表1 现有技术中数据的存储方式

数据分区	数据分区中存储的数据范围
		dt＝’2015-09-01’	存储2015-09-01之前的所有数据的加工结果
dt＝’2015-09-02’	存储2015-09-02之前的所有数据的加工结果
		…	………
dt＝’2015-09-20’	2015-09-20之前的所有数据的加工结果

按照如表1所示的存储方式进行全量加工后数据的存储，在后续使用这些数据时，只需要取最新的分区，再找到所需要的业务时间(即：创建时间)，就可得到想要的结果。

然而，在使用过程中发现，现有的数据全量加工的处理方式存在很多缺陷，主要如下：

1、加工效率低：因无法控制订单生产过程中可能经历的各种“意外”以及无法把控流程完成所需时间，无法进行每天增量加工。只能进行每天全量加工，虽然能够保证数据的准确性，但是对于已经完成生产的订单来说，属于重复加工，极大地降低了数据加工的效率；

2、存储资源浪费：每天全量加工，伴随着的就是每天全量存储，即任何一天的分区中，都保存该日期之前的所有当前数据，对于一些已经完成库房生产的订单，造成了重复存储情况，浪费了集群资源；

3、使用效率低下：对于事实表的使用，由于数据是全量存储，即使只取一天的数据也需要在全部库房订单中扫描，大大降低了使用效率。

发明内容

有鉴于此，本发明提供一种增量式数据处理的方法和装置，能够在保证数据完整及准确的前提下，提高业务数据的加工效率，降低存储空间，提高使用效率，进而极大地节省了集群资源。

为实现上述目的，根据本发明的一个方面，提供了一种增量式数据处理的方法。

一种增量式数据处理的方法，用于对业务数据进行处理，每个业务具有预定的完成期限且每个业务的数据集包括一个或多个数据元素，每个数据元素设有创建日期，所述方法包括：获得该业务的完成期限M，M是正整数，表示完成该业务的单位时间数目；读取该业务对应的业务数据集中创建日期为最近前M+N个单位时间的所有数据元素，并按照预定的业务逻辑加工所述数据元素，其中，N为正数；当所读取的数据元素的创建时间中最早的创建时间是第前M+N个单位时间时，则建立当前时间单位的增量数据分区并且把加工后的数据元素***到该增量数据分区。

可选地，还包括：当所读取的数据元素的创建时间中最早的创建时间不是第前M+N个单位时间时，把加工后的数据元素***到预设的暂存数据分区。

可选地，所述单位时间是日，且N＝1。

可选地，利用当前日期前一日的日期表示来作为所述增量数据分区的标识。

可选地，所述日期表示的形式为yyyy-mm-dd。

可选地，所述数据元素是关系数据库的表，所述业务数据集是表的集合。

根据本发明的另一方面，提供了一种增量式数据处理的装置。

一种增量式数据处理的装置，用于对业务数据进行处理，每个业务具有预定的完成期限且每个业务的数据集包括一个或多个数据元素，每个数据元素设有创建日期，所述装置包括：业务期限获取模块，用于获得该业务的完成期限M，M是正整数，表示完成该业务的单位时间数目；数据加工模块，用于读取该业务对应的业务数据集中创建日期为最近前M+N个单位时间的所有数据元素，并按照预定的业务逻辑加工所述数据元素，其中，N为正数；数据存储模块，用于当所读取的数据元素的创建时间中最早的创建时间是第前M+N个单位时间时，则建立当前时间单位的增量数据分区并且把加工后的数据元素***到该增量数据分区。

可选地，所述数据存储模块还用于：当所读取的数据元素的创建时间中最早的创建时间不是第前M+N个单位时间时，把加工后的数据元素***到预设的暂存数据分区。

可选地，所述单位时间是日，且N＝1。

可选地，利用当前日期前一日的日期表示来作为所述增量数据分区的标识。

可选地，所述日期表示的形式为yyyy-mm-dd。

可选地，所述数据元素是关系数据库的表，所述业务数据集是表的集合。

根据本发明的技术方案，通过确定业务数据集涉及的数据元素处理完成所需要的最长时间，可以确定数据分区存储的数据范围；并根据各个数据元素的创建时间(即：业务时间)获取固定时间区间的数据进行处理及归档，从而实现了部分数据增量加工和存储。采用本发明的技术方案，无需每天全量加工所有历史数据，仅进行合理的增量加工，每天归档不再变化的数据，提高了加工效率；暂存数据分区dt＝’4712-12-31’存储了可能会发生变化的数据，其他数据分区分别存储部分不再变化数据，且相互之间不重不漏，节省了存储空间；使用该业务的数据表时，只需要了解该表的存储结构，就能够根据具体需求，快速找到想要的数据所在分区，提高了使用效率。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是现有技术中数据的加工过程示意图；

图2根据本发明实施例的一种增量式数据处理的方法的主要步骤示意图；

图3是本发明实施例的实现过程示意图；

图4根据本发明实施例的一种增量式数据处理的装置的主要模块示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图2根据本发明实施例的一种增量式数据处理的方法的主要步骤示意图。本发明的增量式数据处理的方法用于对业务数据进行处理，每个业务具有预定的完成期限且每个业务的数据集包括一个或多个数据元素，每个数据元素设有创建日期。如图2所示，本发明的增量式数据处理的方法主要包括如下的步骤S21至步骤S23。

步骤S21：获得该业务的完成期限M，M是正整数，表示完成该业务的单位时间数目。如果该业务涉及多个不相关的子业务，且每个子业务完成所需要的时间不尽相同，则取其中最长的时间作为该业务的完成期限M，以便后续处理。如果该业务涉及的多个子业务中，有相关联的业务，则可根据情况进行相应的计算，以求得该业务的完成期限M。此处，完成期限M的单位可以是日，也可以根据需要进行设定为其他的时间单位。

在进行M值的获取时，可以是根据对数据库***中大量数据的调研和分析获得，也可以是根据不同业务的要求(例如：该业务规定必须在M天之内完成)而得到，等等。

步骤S22：读取该业务对应的业务数据集中创建日期为最近前M+N个单位时间的所有数据元素，并按照预定的业务逻辑加工所述数据元素，其中，N为正数。

结合本发明的实施例，M的单位为日时取N＝1。数据元素是关系数据库的表，所述业务数据集是表的集合。M和N的取值及时间单位可根据需要结合数据处理的效率等因素进行灵活设定。例如：若取时间单位为小时，则可根据需要设定N＝10等，若取时间单位为月，则可根据需要设定N＝0.1等。后面的介绍中将以时间单位为日，N＝1为例进行说明。

在对读取的数据进行加工时可以根据需要设定相应的业务逻辑。结合本发明的实施例，按照预定的业务逻辑加工所述数据元素的过程以前述所提到的事实表涉及两个子业务为例进行说明。例如：以仓储***的订单生产事实表T-Tab为例，表T-Tab涉及的底层拉链表包括订单表Tab1和订单预分拣表Tab2。以创建时间最早的订单表Tab1作为事实表T-Tab的主表，来查找该表中每个订单的商品的分拣类型信息，首先取出订单表Tab1的订单号，再用取出的订单号去关联订单预分拣表Tab2的订单号，之后，取出表Tab2中的分拣类型信息。相应地，对其他信息的获取也是类似做法。

步骤S23：当所读取的数据元素的创建时间中最早的创建时间是第前M+N个单位时间时，则建立当前时间单位的增量数据分区并且把加工后的数据元素***到该增量数据分区。

另外，当所读取的数据元素的创建时间中最早的创建时间不是第前M+N个单位时间时，把加工后的数据元素***到预设的暂存数据分区。

步骤S23中将加工完成的数据***到数据分区时，所述***可以采用数据仓库多表***的方式进行，且所述数据仓库为hive。多表***的方式是数据仓库hive特有数据***操作，所谓的多表***是指在同一条程序语句中，把读取的同一份元数据***到不同的表或者分区中时，只需要扫描一遍元数据即可完成所有表或者分区的***操作。

在进行数据***时，需要以数据元素的创建时间中最早的创建时间为判断数据***不同数据分区的标准。并且，当时间单位为日，且取N＝1时，可以利用当前日期前一日的日期表示来作为所述增量数据分区的标识，且所述日期表示的形式为yyyy-mm-dd。

结合本发明的实施例，以事实表涉及的多个底层拉链表的数据***为例，选定创建时间最早的底层拉链表作为该事实表的主表。在进行数据***时，需要根据主表的创建时间，将数据***到不同的数据分区中。当获取到步骤S22中加工完的数据后，首先需要对各个底层拉链表的创建时间进行判断，当创建时间为第前M+N个单位时间，即M+1天时，将该数据***到数据分区dt为当前日期前一天的数据分区，否则，将创建时间>M+1天(由于步骤S23中获取的是最近M+1天的数据，因此创建时间≥M+1天)的数据，***到预设的暂存数据分区dt＝’4712-12-31’中。这样，就能每天仅需归档一天的数据，且该天的数据将不再变化，同时对于没有进行完毕的流程，暂时放入预设的暂存数据分区dt＝’4712-12-31’，以待下次继续更新。

由以上过程可知，每天会更新两个数据分区的数据：新产生dt为当前日期前一天的数据分区，该分区存储了创建时间为第前M+1天的数据；并更新dt＝’4712-12-31’分区，该分区存储了创建时间>M+1天即创建时间createdate为前M天及以后的数据。具体M的取值，要根据不同业务流程的特点进行设定。

由步骤S21至步骤S23可知，本发明提出了一个基于数据仓库的、部分数据增量加工及存储的方法，在保证数据完整及准确的前提下，提高事实表的加工效率，降低存储空间，提高使用效率，从而极大地节省了集群资源。

图3是本发明实施例的实现过程示意图。如图3所示，假设事实表T-Tab以Tab1为主表(Tab1的创建时间createdate最早)，且涉及到N个业务流程，分别以createdate1、createdate2、…、createdateN为各个业务流程的创建时间，并且假定无论在任何意外状况下，这N个业务流程在100天之内能够完成(现实中，允许有一定的概率出现某业务流程在100天之内仍然不能完成的情况)，即取业务期限M＝100。设定数据加工日期为2015-09-21，该加工日期前第M+1＝101天的日期为2015-06-10，也就是说需要获取各个底层拉链表中2015-06-10及之后的数据以进行增量加工。其中，数据增量加工的过程可参考前述步骤S22中介绍，此处不再赘述。

数据加工完毕后，将根据加工结果判断数据在主表Tab1中的创建时间(createdate1)是否为2015-06-10当天，如果是2015-06-10当天，则将该加工后的数据结果***事实表T-Tab中新增的dt＝’2015-09-20’数据分区，否则，将该加工后的数据结果***事实表T-Tab中的暂存数据分区dt＝’4712-12-31’中。即：事实表T-Tab新增了dt＝’2015-09-20’数据分区，该数据分区存储了创建时间为createdate＝’2015-06-10’的数据，且dt＝’2015-09-20’数据分区之前的数据不会发生变化；同时，还变更了dt＝’4712-12-31’数据分区的相关数据，即该数据分区存储了createdate>＝’2015-06-11’的所有数据。同理，到2015-09-22时，事实表T-Tab会新增dt＝’2015-09-21’的数据分区，且该数据分区存储的是createdate＝’2015-06-11’的数据，同时变更dt＝’4712-12-31’数据分区下的数据，且该数据分区存储的是createdate>＝’2015-06-12’的数据。如此循环，即可实现数据的增量加工及存储。

根据上述的方法进行数据的增量加工及存储，相应的事实表T-Tab的存储方式如下表2所示。

表2 数据增量加工的存储方式

数据分区	数据分区中存储的数据范围
		dt＝’2015-09-01’	存储2015-05-22当天创建的数据的加工结果
dt＝’2015-09-02’	存储2015-05-23当天创建的数据的加工结果
		…	………
dt＝’2015-09-20’	存储2015-06-10当天创建的数据的加工结果
		dt＝’4712-12-31’	存储2015-06-11及之后创建的数据的加工结果

按照如表2所示的存储方式进行数据存储，后续当需要使用该事实表的时候，可根据需求确定自己要读取的数据的业务时间(即：创建时间)范围，从而对该事实表进行合理的分区限定，以提高搜索效率，节省集群资源。

图4根据本发明实施例的一种增量式数据处理的装置的主要模块示意图。如图4所示，本发明的增量式数据处理的装置40主要包括业务期限获取模块41、数据加工模块42、数据存储模块43。

业务期限获取模块41用于获得该业务的完成期限M，M是正整数，表示完成该业务的单位时间数目；数据加工模块42用于读取该业务对应的业务数据集中创建日期为最近前M+N个单位时间的所有数据元素，并按照预定的业务逻辑加工所述数据元素，其中，N为正数；数据存储模块43用于当所读取的数据元素的创建时间中最早的创建时间是第前M+N个单位时间时，则建立当前时间单位的增量数据分区并且把加工后的数据元素***到该增量数据分区。

所述数据存储模块43还可以用于当所读取的数据元素的创建时间中最早的创建时间不是第前M+N个单位时间时，把加工后的数据元素***到预设的暂存数据分区。

根据本发明实施例的技术方案，所述单位时间是日，且N＝1。可以利用当前日期前一日的日期表示来作为所述增量数据分区的标识。并且，所述日期表示的形式为yyyy-mm-dd。

其中，所述数据元素是关系数据库的表，所述业务数据集是表的集合。

根据本发明实施例的技术方案，通过确定业务数据集涉及的数据元素处理完成所需要的最长时间，可以确定数据分区存储的数据范围；并根据各个数据元素的创建时间(即：业务时间)获取固定时间区间的数据进行处理及归档，从而实现了部分数据增量加工和存储。采用本发明的技术方案，无需每天全量加工所有历史数据，仅进行合理的增量加工，每天归档不再变化的数据，提高了加工效率；暂存数据分区dt＝’4712-12-31’存储了可能会发生变化的数据，其他数据分区分别存储部分不再变化数据，且相互之间不重不漏，节省了存储空间；使用该业务的数据表时，只需要了解该表的存储结构，就能够根据具体需求，快速找到想要的数据所在分区，提高了使用效率。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (14)

1.一种增量式数据处理的方法，用于对业务数据进行处理，每个业务具有预定的完成期限且每个业务的数据集包括一个或多个数据元素，每个数据元素设有创建日期，所述方法的特征在于，包括：

获得该业务的完成期限M，M是正整数，表示完成该业务的单位时间数目；

读取该业务对应的业务数据集中创建日期为最近前M+N个单位时间的所有数据元素，并按照预定的业务逻辑加工所述数据元素，其中，N为正数；

当所读取的数据元素的创建时间中最早的创建时间是第前M+N个单位时间时，则建立当前时间单位的增量数据分区并且把加工后的数据元素***到该增量数据分区。

2.根据权利要求1所述的方法，其特征在于，还包括：

当所读取的数据元素的创建时间中最早的创建时间不是第前M+N个单位时间时，把加工后的数据元素***到预设的暂存数据分区。

3.根据权利要求1所述的方法，其特征在于，所述单位时间是日，且N＝1。

4.根据权利要求3所述的方法，其特征在于，利用当前日期前一日的日期表示来作为所述增量数据分区的标识。

5.根据权利要求4所述的方法，其特征在于，所述日期表示的形式为yyyy-mm-dd。

6.根据权利要求1所述的方法，其特征在于，所述数据元素是关系数据库的表，所述业务数据集是表的集合。

7.一种增量式数据处理的装置，用于对业务数据进行处理，每个业务具有预定的完成期限且每个业务的数据集包括一个或多个数据元素，每个数据元素设有创建日期，所述装置的特征在于，包括：

业务期限获取模块，用于获得该业务的完成期限M，M是正整数，表示完成该业务的单位时间数目；

数据加工模块，用于读取该业务对应的业务数据集中创建日期为最近前M+N个单位时间的所有数据元素，并按照预定的业务逻辑加工所述数据元素，其中，N为正数；

数据存储模块，用于当所读取的数据元素的创建时间中最早的创建时间是第前M+N个单位时间时，则建立当前时间单位的增量数据分区并且把加工后的数据元素***到该增量数据分区。

8.根据权利要求7所述的装置，其特征在于，所述数据存储模块还用于：

当所读取的数据元素的创建时间中最早的创建时间不是第前M+N个单位时间时，把加工后的数据元素***到预设的暂存数据分区。

9.根据权利要求7所述的装置，其特征在于，所述单位时间是日，且N＝1。

10.根据权利要求9所述的装置，其特征在于，利用当前日期前一日的日期表示来作为所述增量数据分区的标识。

11.根据权利要求10所述的装置，其特征在于，所述日期表示的形式为yyyy-mm-dd。

12.根据权利要求7所述的装置，其特征在于，所述数据元素是关系数据库的表，所述业务数据集是表的集合。

13.一种增量式数据处理的电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1‐6中任一所述的方法。

14.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1‐6中任一所述的方法。