CN113986941A - 事务批量处理方法及装置 - Google Patents

Abstract

本发明公开了事务批量处理方法及装置，可应用于金融领域或其他领域。通过获取批量数据；将批量数据进行划分，得到多个事务，每一事务处理一批数据，一批数据包含多条待处理记录；执行事务，利用SQL语句对一批数据进行相关业务逻辑处理，得到处理结果；设计通用机制，并根据处理结果，应用通用机制处理事务。在本方案中，通过将批量数据划分为多个事务，利用SQL语句对每个事务处理的一批数据进行处理，并根据得到的处理结果进行相应的事务控制操作，从而保证性能和数据一致性。

Description

事务批量处理方法及装置

技术领域

本发明涉及数据库事务处理技术领域，尤其涉及一种事务批量处理方法及装置。

背景技术

批量处理是数据库常用的事务处理方式，在批量处理过程中，当个别记录格式错误或逻辑问题导致批量处理异常时，通常先回滚事务然后变成逐条记录处理，跳过这条引发错误的记录，并把跳过的记录到异常日志中，此时仅回滚这条跳过的记录引发的事务，不影响其它正常记录的事务成功。

由此可知，现有的批量处理方法没有引入剔除错误并递归调用的方式，在个别记录异常情况下不能最大化保证性能，且某些情况也没有考虑savepoint，以保证单条记录的事务一致性。

发明内容

有鉴于此，本发明实施例提供一种事务批量处理方法及装置，以实现保证性能和事务一致性的目的。

为实现上述目的，本发明实施例提供如下技术方案：

本发明实施例第一方面公开了一种事务批量处理方法，所述方法包括：

获取待处理的批量数据；

将所述批量数据进行划分，得到多个事务，每一所述事务处理一批数据，所述一批数据包含多条待处理记录；

执行所述事务，利用SQL语句对所述一批数据进行相关业务逻辑处理，得到处理结果；

设计通用机制，并根据所述处理结果，应用所述通用机制处理所述事务。

可选的，所述设计通用机制，并根据所述处理结果，应用所述通用机制处理所述事务，包括：

设计通用机制，若所述处理结果为处理成功结果，应用所述通用机制提交所述事务。

可选的，所述设计通用机制，并根据所述处理结果，应用所述通用机制处理所述事务，包括：

设计通用机制，若所述处理结果为处理失败结果，应用所述通用机制回滚所述事务；

逐条处理所述待处理记录，直至处理完所有待处理记录。

可选的，在所述逐条处理所述待处理记录之前，还包括：

设置回滚点。

可选的，所述逐条处理所述待处理记录，直至处理完所有待处理记录，包括：

重新逐条处理所述待处理记录；

当任意所述待处理记录发生错误时，跳过所述待处理记录，并将所述待处理记录产生的事务回滚至所述回滚点。

可选的，还包括：

获取剩余的待处理记录；

再次利用SQL语句对所述剩余的待处理记录进行递归调用处理，直至处理完所有剩余的待处理记录。

本发明实施例第二方面公开了一种事务批量处理装置，所述装置包括：

获取模块，用于获取待处理的批量数据；

划分模块，用于将所述批量数据进行划分，得到多个事务，每一所述事务处理一批数据，所述一批数据包含多条待处理记录；

处理模块，用于执行所述事务，利用SQL语句对所述一批数据进行相关业务逻辑处理，得到处理结果；设计通用机制，并根据所述处理结果，应用所述通用机制处理所述事务。

可选的，所述用于设计通用机制，并根据所述处理结果，应用所述通用机制处理所述事务的处理模块，具体用于：

设计通用机制，若所述处理结果为处理成功结果，应用所述通用机制提交所述事务。

可选的，所述用于设计通用机制，并根据所述处理结果，应用所述通用机制处理所述事务的处理模块，还具体用于：

设计通用机制，若所述处理结果为处理失败结果，应用所述通用机制回滚所述事务；逐条处理所述待处理记录，直至处理完所有待处理记录。

可选的，在所述处理模块逐条处理所述待处理记录之前，还用于：

设置回滚点。

基于上述本发明实施例提供的一种事务批量处理方法及装置，所述方法包括：获取批量数据；将所述批量数据进行划分，得到多个事务，每一所述事务处理一批数据，所述一批数据包含多条待处理记录；执行所述事务，利用SQL语句对所述一批数据进行相关业务逻辑处理，得到处理结果；设计通用机制，并根据所述处理结果，应用所述通用机制处理所述事务。在本方案中，通过将批量数据划分为多个事务，利用SQL语句对每个事务处理的一批数据进行处理，并根据得到的处理结果进行相应的事务控制操作，从而保证性能和数据一致性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种事务批量处理方法的流程示意图；

图2为本发明实施例提供的另一种事务批量处理方法的流程示意图；

图3为本发明实施例提供的一种逐条处理待处理记录的流程示意图；

图4为本发明实施例提供的一种事务批量处理装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。

本发明提供的事务批量处理方法及装置可用于金融领域或其他领域，例如，可用于金融领域中的多雇员代发工资应用场景。其他领域为除金融领域之外的任意领域，例如，数据库事务处理领域。上述仅为示例，并不对本发明提供的事务批量处理方法及装置的应用领域进行限定。

为了便于理解本发明的技术方案，对本发明中出现的技术术语进行说明：

批量处理：指程序在一个批次中集中处理多条指令或数据。例如，批量处理一个文本文件；银行批量处理多个雇员的代发工资业务。与单笔单笔的联机在线事务处理相比，批量处理通过集中处理数据以提高性能，同样也需保证事务一致性。

事务：是计算机术语，一般用在数据库中，指一个完整的数据修改单元。事务应该具备4个属性：原子性、一致性、隔离性、持久性。事务中的操作要么都做，要么都不做。

事务保存点：数据库都提供Savepoint，Savepoint将一个大事务分隔为较小的部分，使用savepoint可以在长事务中任意位置标记事务点，后续可以通过命令回滚至指定的事务点标记。

由背景技术可知，现有的批量处理方法没有引入剔除错误并递归调用的方式，在个别记录异常情况下不能最大化保证性能，且某些情况也没有考虑savepoint，以保证单条记录的事务一致性。

因此，本发明实施例提供一种事务批量处理方法及装置，在本方案中，通过将批量数据划分为多个事务，利用SQL语句对每个事务处理的一批数据进行处理，并根据得到的处理结果进行相应的事务控制操作，从而保证性能和数据一致性。

如图1所示，为本发明实施例提供的一种事务批量处理方法的流程示意图，该方法主要包括以下步骤：

步骤S101：获取待处理的批量数据。

在具体实现步骤S101的过程中，在进行数据库操作时，首先要获取数据库操作对象相应的数据，即获取待处理的批量数据。

步骤S102：将批量数据进行划分，得到多个事务。

在步骤S102中，每一事务处理一批数据。

一批数据包含多条待处理记录。

在具体实现步骤S102的过程中，将所获取的批量数据划分为多个事务，在每个事务中处理一批数据，也就是说，在每个事务中处理一批待处理记录。

步骤S103：执行事务，利用SQL语句对一批数据进行相关业务逻辑处理，得到处理结果。

在步骤S103中，处理结果包括处理成功结果和处理失败结果。

业务逻辑为处理一批数据或者一条数据的逻辑。

在具体实现步骤S103的过程中，执行任一事务，利用SQL语句对该事务处理的一批数据进行处理，得到处理成功结果或者处理失败结果。

步骤S104：设计通用机制，并根据处理结果，应用通用机制处理事务。

在本发明实施例中，通用机制为通过伪代码设计递归调用方式。

在具体实现中，通过伪代码递归调用处理事务。

在具体实现步骤S104的过程中，设计通用机制，若得到的处理结果为处理成功结果，则应用通用机制将执行的事务进行提交，若得到的处理结果为处理失败结果，则应用通用机制将执行的事务进行回滚。

基于本发明实施例提供的一种事务批量处理方法，通过获取批量数据；将批量数据进行划分，得到多个事务，每一事务处理一批数据，一批数据包含多条待处理记录；执行事务，利用SQL语句对一批数据进行相关业务逻辑处理，得到处理结果；设计通用机制，并根据处理结果，应用通用机制处理事务。在本方案中，通过将批量数据划分为多个事务，利用SQL语句对每个事务处理的一批数据进行处理，并根据得到的处理结果进行相应的事务控制操作，从而保证性能和数据一致性。

基于上述本发明实施例图1示出的事务批量处理方法，如图2所示，为本发明实施例提供的另一种事务批量处理方法的流程示意图，该事务批量处理方法主要包括以下步骤：

步骤S201：获取待处理的批量数据。

步骤S202：将批量数据进行划分，得到多个事务。

步骤S203：执行事务，利用SQL语句对一批数据进行相关业务逻辑处理，得到处理结果。

需要说明的是，上述步骤S201至步骤S203的执行原理和过程与图1中公开的步骤S101至步骤S103的执行原理和过程相同，可参见，这里不再赘述。

步骤S204：设计通用机制，并判断处理结果是否为处理成功结果，若是，执行步骤S205，若否，执行步骤S206。

在具体实现步骤S204的过程中，判断处理结果是否为处理成功结果，若是，执行步骤S205，若否，说明处理结果为处理失败结果，执行步骤S206。

步骤S205：应用通用机制提交事务。

在具体实现步骤S205的过程中，确定得到的处理结果为处理成功结果，则应用通用机制将当前执行的事务进行提交。

步骤S206：应用通用机制回滚事务。

在具体实现步骤S206的过程中，确定得到的处理结果为处理失败结果，则应用通用机制将当前执行的事务进行回滚。

可选的，可以利用递归的方式将当前执行的事务进行回滚。

步骤S207：逐条处理待处理记录，直至处理完所有待处理记录。

在具体实现步骤S207的过程中，重头开始一条一条的处理所有待处理记录，直至完成所有待处理记录的处理。

可选的，在执行步骤S207逐条处理待处理记录之前，还包括：

设置回滚点。

在本发明实施例中，回滚点为事务保存点。

需要说明的是，回滚点用于当任意待处理记录发送错误时，将事务回滚至指定的回滚点，也就是说，当任意待处理记录发送错误时，将事务回滚至指定的事务保存点。

优选的，在一具体实施例中，回滚点可以表示为savepoint。

可选的，在步骤S207逐条处理待处理记录，直至处理完所有待处理记录的过程，如图3所示，为本发明实施例提供的一种逐条处理待处理记录的流程示意图，主要包括以下步骤：

步骤S301：重新逐条处理待处理记录。

在具体实现步骤S301的过程中，重头开始一条一条的处理所有待处理记录。

步骤S302：判断任意待处理记录是否发生错误，若是，执行步骤S303，若否，返回执行步骤S301。

步骤S303：跳过待处理记录，并将待处理记录产生的事务回滚至回滚点。

在具体实现步骤S303的过程中，确定某一条待处理记录发生错误，则跳过该条待处理记录，将该条待处理记录产生的事务回滚至回滚点，并进行回滚处理，从而保证了跳过的错误记录实际未发生事务。

可选的，在步骤S303将待处理记录产生的事务回滚至回滚点之后，还包括：

步骤S304：获取剩余的待处理记录。

在具体实现步骤S304的过程中，剔除发生错误的待处理记录之后，剩余的待处理记录发生错误的几率很小，因此，需要对剩余的待处理记录进行处理，此时，需要先获取剩余的待处理记录。

步骤S305：再次利用SQL语句对剩余的待处理记录进行递归调用处理，直至处理完所有剩余的待处理记录。

在具体实现步骤S305的过程中，将获取到的剩余的待处理记录再次作为一批数据，利用SQL语句对该批数据进行递归调用处理，从而保证性能，如果任意剩余的待处理记录发生错误，就反复进行递归循环操作，直至完成所有剩余的待处理记录的处理，此时已完成所有待处理记录的处理。

基于本发明实施例提供的一种事务批量处理方法，在处理结果为处理失败结果时，应用通用机制将当前执行的事务进行回滚，并逐条处理待处理记录，在某一条待处理记录发生错误时，跳过该条待处理记录，将该条待处理记录产生的事务回滚至回滚点，从而保证了跳过的错误记录实际未发生事务，再次利用SQL语句对剩余的待处理记录进行递归调用处理，直至处理完所有剩余的待处理记录，从而保证性能和数据一致性。

为了更好地理解上述本发明实施例提供的一种事务批量处理方法，下面举一例子进行详细说明。

例如，利用伪代码进行递归调用，相关伪代码如下所示：

下面对上述关键代码进行解释说明。

首先，利用begintransaction语句开始执行新事务，将划分好的事务中的一批数据作为输入进行后续处理，其中，一批数据包含多条待处理记录。

接着，利用result＝process_all(recodes)语句并通过SQL语句对新事务处理的一批数据进行一次性处理，得到处理结果，并根据处理结果判断整个事务的提交或者回滚。

如果当前回滚了整个新事务，利用for(rec inrecords)语句一条一条重新处理所有待处理记录，并在利用process_one语句处理一条待处理记录之前利用set savepointbf设置回滚点。

接着，利用process_one语句处理一条待处理记录。

当某一条待处理记录发生错误时，将该条待处理记录产生的事务回滚至回滚点，并记录日志。跳过该条待处理记录。

接着，提交前面处理成功的待处理记录。

再接着，利用get_left语句获取剩余的待处理记录，并利用doProcess(records_left)语句递归调用处理剩余的待处理记录，当剩余的待处理记录处理完毕后，中断递归调用，并进行整个事务的提交。

如果当前records.size＝＝0，此时所有待处理记录已处理完毕，则退出递归调用。

基于本发明实施例提供的一种事务批量处理方法，在处理结果为处理失败结果时，应用通用机制将当前执行的事务进行回滚，并逐条处理待处理记录，在某一条待处理记录发生错误时，跳过该条待处理记录，将该条待处理记录产生的事务回滚至回滚点，从而保证了跳过的错误记录实际未发生事务，再次利用SQL语句对剩余的待处理记录进行递归调用处理，直至处理完所有剩余的待处理记录，从而保证性能和数据一致性。

与上述本发明实施例图1示出的一种事务批量处理方法相对应，本发明实施例还对应提供了一种事务批量处理装置。如图4所示，该事务批量处理装置包括：获取模块41、划分模块42和处理模块43。

获取模块41，用于获取待处理的批量数据。

划分模块42，用于将批量数据进行划分，得到多个事务。

其中，每一事务处理一批数据，一批数据包含多条待处理记录。

处理模块43，用于执行事务，利用SQL语句对一批数据进行相关业务逻辑处理，得到处理结果；设计通用机制，并根据处理结果，应用通用机制处理事务。

需要说明的是，上述本发明实施例公开的事务批量处理装置中的各个模块或各个单元具体的原理和执行过程，与上述本发明实施事务批量处理方法相同，可参见上述本发明实施例公开的事务批量处理方法中相应的部分，这里不再进行赘述。

基于本发明实施例提供的一种事务批量处理装置，通过获取批量数据；将批量数据进行划分，得到多个事务，每一事务处理一批数据，一批数据包含多条待处理记录；执行事务，利用SQL语句对一批数据进行相关业务逻辑处理，得到处理结果；设计通用机制，并根据处理结果，应用通用机制处理事务。在本方案中，通过将批量数据划分为多个事务，利用SQL语句对每个事务处理的一批数据进行处理，并根据得到的处理结果进行相应的事务控制操作，从而保证性能和数据一致性。

可选的，基于上述图4示出的处理模块43，所述用于设计通用机制，并根据处理结果，应用通用机制处理事务的处理模块43，具体用于：

设计通用机制，若处理结果为处理成功结果，应用通用机制提交事务。

基于本发明实施例提供的一种事务批量处理装置，当处理结果为处理成功结果时，对当前执行的事务进行提交，从而保证性能和事务一致性。

可选的，基于上述图4示出的处理模块43，所述用于设计通用机制，并根据处理结果，应用通用机制处理事务的处理模块43，还具体用于：

设计通用机制，若处理结果为处理失败结果，应用通用机制回滚事务；逐条处理待处理记录，直至处理完所有待处理记录。

基于本发明实施例提供的一种事务批量处理装置，当处理结果为处理失败结果时，应用通用机制对当前执行的事务进行回滚，并重新逐条处理待处理记录，从而保证性能和数据一致性。

可选的，基于上述图4示出的处理模块43，在所述处理模块43逐条处理待处理记录之前，还用于：

设置回滚点。

基于本发明实施例提供的一种事务批量处理装置，通过设置回滚点，便于后续某一条待处理记录发生错误时，将该条待处理记录产生的事务回滚至回滚点，从而保证性能和数据一致性。

可选的，基于上述图4示出的处理模块43，所述用于逐条处理待处理记录，直至处理完所有待处理记录的处理模块43，具体用于：

重新逐条处理待处理记录；当任意待处理记录发生错误时，跳过待处理记录，并将待处理记录产生的事务回滚至回滚点。

基于本发明实施例提供的一种事务批量处理装置，在某一条待处理记录发生错误时，将该条待处理记录产生的事务回滚至回滚点，从而保证性能和数据一致性。

可选的，基于上述图4示出的处理模块43，所述用于逐条处理待处理记录，直至处理完所有待处理记录的处理模块43，还具体用于：

获取剩余的待处理记录；再次利用SQL语句对剩余的待处理记录进行递归调用处理，直至处理完所有剩余的待处理记录。

基于本发明实施例提供的一种事务批量处理装置，通过再次利用SQL语句对剩余的待处理记录进行递归调用处理，从而保证性能和数据一致性。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***或***实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的***及***实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种事务批量处理方法，其特征在于，所述方法包括：

获取待处理的批量数据；

将所述批量数据进行划分，得到多个事务，每一所述事务处理一批数据，所述一批数据包含多条待处理记录；

执行所述事务，利用SQL语句对所述一批数据进行相关业务逻辑处理，得到处理结果；

设计通用机制，并根据所述处理结果，应用所述通用机制处理所述事务。

2.根据权利要求1所述的方法，其特征在于，所述设计通用机制，并根据所述处理结果，应用所述通用机制处理所述事务，包括：

设计通用机制，若所述处理结果为处理成功结果，应用所述通用机制提交所述事务。

3.根据权利要求1所述的方法，其特征在于，所述设计通用机制，并根据所述处理结果，应用所述通用机制处理所述事务，包括：

设计通用机制，若所述处理结果为处理失败结果，应用所述通用机制回滚所述事务；

逐条处理所述待处理记录，直至处理完所有待处理记录。

4.根据权利要求3所述的方法，其特征在于，在所述逐条处理所述待处理记录之前，还包括：

设置回滚点。

5.根据权利要求3或4所述的方法，其特征在于，所述逐条处理所述待处理记录，直至处理完所有待处理记录，包括：

重新逐条处理所述待处理记录；

当任意所述待处理记录发生错误时，跳过所述待处理记录，并将所述待处理记录产生的事务回滚至所述回滚点。

6.根据权利要求5所述的方法，其特征在于，还包括：

获取剩余的待处理记录；

再次利用SQL语句对所述剩余的待处理记录进行递归调用处理，直至处理完所有剩余的待处理记录。

7.一种事务批量处理装置，其特征在于，所述装置包括：

获取模块，用于获取待处理的批量数据；

划分模块，用于将所述批量数据进行划分，得到多个事务，每一所述事务处理一批数据，所述一批数据包含多条待处理记录；

处理模块，用于执行所述事务，利用SQL语句对所述一批数据进行相关业务逻辑处理，得到处理结果；设计通用机制，并根据所述处理结果，应用所述通用机制处理所述事务。

8.根据权利要求7所述的装置，其特征在于，所述用于设计通用机制，并根据所述处理结果，应用所述通用机制处理所述事务的处理模块，具体用于：

设计通用机制，若所述处理结果为处理成功结果，应用所述通用机制提交所述事务。

9.根据权利要求7所述的装置，其特征在于，所述用于设计通用机制，并根据所述处理结果，应用所述通用机制处理所述事务的处理模块，还具体用于：

设计通用机制，若所述处理结果为处理失败结果，应用所述通用机制回滚所述事务；逐条处理所述待处理记录，直至处理完所有待处理记录。

10.根据权利要求9所述的装置，其特征在于，在所述处理模块逐条处理所述待处理记录之前，还用于：

设置回滚点。

Images