CN111984662B - 批量更新数据库的方法及装置 - Google Patents

Abstract

本发明提供了一种批量更新数据库的方法及装置，涉及计算机技术领域，该方法包括：获取多条缓存信息；每条缓存信息包括一个识别序号；多条缓存信息属于数据库中的同一数据分组；按照识别序号确定缓存信息的更新方式；按照多条缓存信息和更新方式对数据库中的同一数据分组进行更新。本发明在确定了待批量进行更新的多条缓存信息的更新方式后，一次性与数据库进行信息交互，对数据库中的同一数据分组进行更新，减少了批量处理中，与数据库的交互次数，提升了批量处理的效率。

Description

批量更新数据库的方法及装置

技术领域

本发明涉及计算机技术领域，尤其是涉及一种批量更新数据库的方法及装置。

背景技术

数据库更新操作，指对数据库表数据进行更新的SQL操作，包括添加处理、修改处理和删除处理。批量更新数据库：就是一次向数据库提交多个更新数据库的操作，包括添加处理、修改处理和删除处理的SQL语句。在批处理中，逐笔对交易进行业务逻辑处理，而每笔交易的处理一般都涉及到一次或多次对数据库的更新操作，由于处理的交易很多，跟数据库的交互多，而每次与数据库的交互都很消耗时间，从而导致批量处理的效率低。

发明内容

本发明提供了一种批量更新数据库的方法及装置，可以降低与数据库交互的次数，提高批量更新数据库的效率。

第一方面，本发明实施例提供了一种批量更新数据库的方法，该方法包括：获取多条缓存信息；每条所述缓存信息包括一个识别序号；所述多条缓存信息属于数据库中的同一数据分组；按照所述识别序号确定所述缓存信息的更新方式；按照所述多条缓存信息和所述更新方式对所述数据库中的同一数据分组进行更新。

第二方面，本发明实施例还提供一种批量更新数据库的装置，该装置包括：获取模块，用于获取多条缓存信息；每条所述缓存信息包括一个识别序号；所述多条缓存信息属于数据库中的同一数据分组；遍历模块，用于按照所述识别序号确定所述缓存信息的更新方式；更新模块，用于按照所述多条缓存信息和所述更新方式对所述数据库中的同一数据分组进行更新。

第三方面，本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述批量更新数据库的方法。

第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述批量更新数据库的方法的计算机程序。

本发明实施例带来了以下有益效果：本发明实施例提供了一种批量更新数据库的方案，该方案首先获取多条缓存信息，每条缓存信息包括一个识别序号；多条缓存信息属于数据库中的同一数据分组，之后，按照识别序号确定缓存信息的更新方式，最后按照多条缓存信息和所述更新方式对数据库中的同一数据分组进行更新。本发明实施例在确定了待批量进行更新的多条缓存信息的更新方式后，一次性与数据库进行信息交互，对数据库中的同一数据分组进行更新，减少了批量处理中，与数据库的交互次数，提升了批量处理的效率。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的批量更新数据库的方法流程图；

图2为本发明实施例提供的现有的批量处理流程示意图；

图3为本发明实施例提供的现有的单笔交易业务处理流程示意图；

图4为本发明实施例提供的数据库更新执行步骤示意图；

图5为本发明实施例提供的批量处理流程示意图；

图6为本发明实施例提供的单笔交易业务处理流程示意图；

图7为本发明实施例提供的批量更新数据库执行步骤示意图；

图8为本发明实施例提供的确定缓存信息的更新方式步骤示意图；

图9为本发明实施例提供的失败交易处理流程示意图；

图10为本发明实施例提供的一种批量更新数据库的装置结构框图；

图11为本发明实施例提供的另一种批量更新数据库的装置结构框图；

图12为本发明实施例提供的计算机设备结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图2所示的现有的批量处理流程示意图，要处理的交易集合中包括多笔需要更新处理的交易，在批处理中，逐笔对交易进行业务逻辑处理，而每笔交易的处理一般都涉及到一次或多次对数据库的更新操作(inert、update或delete)，对数据库的更新SQL操作可以调用org.springframework.orm.ibatis.SqlMapClientTemplate或com.ibatis.sqlmap.client.SqlMapExecutor的如下方法来完成：Object insert(String statementName,Object parameterObject)；int update(String statementName,final ObjectparameterObject)；int delete(String statementName,final ObjectparameterObject)。参见图3所示的现有的单笔交易业务处理流程示意图，每次的单笔交易txn的业务处理包含了一次或多次数据库更新操作，而每次数据库更新操作都需要与数据库进行通讯及数据库进行更新的操作，效率较低。

在进行批量处理时，交易之间没有逻辑依赖关系。所以，不用每次更新都实际与数据库进行交互，而可以将多笔交易的更新SQL(Structured Query Language，结构化查询语言)一次性提交，从而降低与数据库的交互次数，提高批量处理效率。

基于此，本发明实施例提供的一种批量更新数据库的方法及装置，参见图5所示的批量处理流程示意图，相比于图2，该方法包括批量更新提交的步骤，参见图6所示的单笔交易业务处理流程示意图，相比于图3，该方法取消了事务管理控制，将原SQL操作变更为SQL操作缓存操作。该方法通过进行批量提交缓存信息，大大地减少了与数据库的交互，从而大大提高了批量处理的效率。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种批量更新数据库的方法进行详细介绍。

本发明实施例提供了一种批量更新数据库的方法，参见图1所示的一种批量更新数据库的方法流程图，该方法包括以下步骤：

步骤S102，获取多条缓存信息。

在本发明实施例中，缓存信息包括用于对数据库进行更新的数据。每条缓存信息包括一个识别序号，识别序号可以用于对缓存信息排序，也可以用于唯一地识别一条缓存信息。多条缓存信息属于数据库中的同一数据分组，例如，对于某项业务，涉及多笔交易，则该业务涉及的数据属于数据库中的同一数据分组，该业务中每一笔交易涉及的数据，可以对应一条缓存信息，该条缓存信息中包括需要在数据库中更新的数据。

步骤S104，按照识别序号确定缓存信息的更新方式。

在本发明实施例中，参见图8所示的确定缓存信息的更新方式步骤示意图，可以按照识别序号遍历每条缓存信息，确定每条缓存信将要采用何种方式在数据库中进行更新，更新方式包括添加(inert)、删除(delete)或修改(update)。在确定了缓存信息的更新方式后，按照识别序号批量将缓存信息提交至与数据库进行交互的模块。

需要说明的是，图8中的提交组件，用于SQL Map执行器用SQL参数执行ID为目标参数如“sqlId”的SQL的更新。

需要说明的是，该步骤需确定缓存信息如何在数据库中进行更新，而不是执行更新，执行该步骤时，不与数据库进行数据交互。

另外需要说明的是，该方法可以通过ibatis框架的SQL Map执行器SqlMapExecutor来进行批量更新的提交。如果缓存信息条数过多，可以根据识别序号对多条缓存信息分批进行提交。

步骤S106，按照多条缓存信息和更新方式对数据库中的同一数据分组进行更新。

在本发明实施例中，在确定了更新方式后，与数据库进行交互，对每条缓存信息在数据库中进行更新。例如，对某业务中涉及的每笔交易进行更新，以完成该业务的批量数据更新。对数据库中的每项业务逐个进行更新，完成整个数据库的更新。

本发明实施例提供了一种批量更新数据库的方案，该方案首先获取多条缓存信息，每条缓存信息包括一个识别序号；多条缓存信息属于数据库中的同一数据分组，之后，按照识别序号确定缓存信息的更新方式，最后按照多条缓存信息和所述更新方式对数据库中的同一数据分组进行更新。本发明实施例在确定了待批量进行更新的多条缓存信息的更新方式后，一次性与数据库进行信息交互，对数据库中的同一数据分组进行更新，减少了批量处理中，与数据库的交互次数，提升了批量处理的效率。

为了提升数据处理效率，获取多条缓存信息之前，还可以执行如下步骤：

生成数据库中的同一数据分组对应的多条缓存信息。

在本发明实施例中，生成数据库中的同一数据分组对应的多条缓存信息，即为对更新SQL进行缓存的过程，可以采用如下方式实现：

应用程序中原更新DAO(Data Access Object，数据库访问对象)调用修改为向内存进行缓存的调用；或者，修改ORM(Object Relational Mapping，对象关系映射)框架中执行更新SQL操作为向内存进行缓存的调用，应用程序DAO调用写法不变。

在本发明实施例中，数据库中的同一数据分组对应的多条缓存信息，可以为如下

表1所示的结构：

表1

其中，缓存是一个列表，每一个元素为一笔交易缓存信息。每笔缓存信息包含：交易信息txn对象、更新SQL信息列表。更新SQL信息列表为该笔交易需要进行更新操作的SQL操作信息，列表的每个元素包括SQL ID及执行该SQL的参数对象。

考虑到批量更新中可能存在处理失败的情况，因此，按照缓存信息和更新方式对数据库中的同一数据分组进行更新，可以按照如下步骤执行：

若收到报错信息，则根据报错信息确定失败交易的识别序号；按照失败交易的识别序号对多条缓存信息进行分组，得到分组结果；按照失败交易的识别序号和分组结果对数据库中的同一数据分组进行更新。

在本发明实施例中，在与数据库进行数据交互的过程，如果出现错误，则会进行报错，根据报错信息确定失败交易的识别序号，参见图9所示的失败交易处理流程示意图，若在批量更新缓存信息最小识别序号至最大识别序号之间，识别序号为k为失败交易，则将缓存信息进行分组，得到最小识别序号至识别序号为k的缓存信息为第一组，识别序号为k+1至最大识别序号的缓存信息为第二组，之后，分别对第一组和第二组进行批量更新处理，处理过程可以参考图7中的步骤，图中，获取多条缓存信息的步骤，可以通过SQL Map执行器设置批量标志为true实现。

对识别序号为k的缓存信息进行单独的处理，例如，由于第k笔交易无法正常更新数据库，所以需要记录下该笔失败交易的信息。可以在日志文件中记录，也可以在数据库表中记录，比如批量处理失败表。可以记录下笔数序号k，以及交易信息txn。可以对失败信息进行查询和分析，以及后续的业务补救措施等。

需要说明的是，在向数据库实际提交批量更新的时候，参见图7所示的批量更新数据库执行步骤示意图，与数据库进行交互进行更新的步骤，可以调用iBatis框架中的SQLMap执行器执行批量更新实现，这一过程，可能由于部分SQL执行失败而抛出异常，JDBC(Java Database Connectivity，Java数据库连接)一般抛出java.sql.BatchUpdateException异常。

为了高效准确地对失败的交易进行处理，根据所述报错信息确定失败交易的识别序号，可以按照如下步骤执行：

记录交易成功的缓存信息的条数；记录已交易的缓存信息的条数；若已交易的缓存信息的条数大于交易成功的缓存信息的条数，则将已交易的缓存信息的条数作为失败交易的识别序号。

在本发明实施例中，例如，在一个实施例中，java.sql.BatchUpdateException的getUpdateCounts()方法返回一个int[]数组，表示每个成功执行的SQL所更新的记录条数，所以该数组的长度就是执行成功的SQL条数，比如该值为n。则可以遍历缓存begin开始的交易记录，累计交易的SQL条数，当累计数m>n时，该笔交易就是提交失败的记录序号k。

需要说明的是，在本发明实施例中，数据库交互基于ibatis框架，对于使用其他ORM框架，可能存在不同的缓存方法或结构，以及不同的批量更新方法。但批量更新的失败处理机制是相同的。

本发明实施例提供了一种批量更新数据库的方法及装置，参见图4所示的数据库更新执行步骤示意图，该方法先更新SQL缓存，将更新数据库的SQL操作在内存中进行缓存；之后，批量更新提交，将缓存的所有SQL操作发给数据库进行实际更新。该方法对每个更新SQL进行缓存，然后进行批量更新数据库，当批量更新失败时需要再次分段重新批量更新提交。由于进行批量提交，大大地减少了与数据库的交互，从而大大提高了批量处理的效率。

本发明实施例中还提供了一种批量更新数据库的装置，如下面的实施例所述。由于该装置解决问题的原理与批量更新数据库的方法相似，因此该装置的实施可以参见批量更新数据库的方法的实施，重复之处不再赘述。参见图10所示的批量更新数据库的装置结构框图，该装置包括：

获取模块71，用于获取多条缓存信息；每条缓存信息包括一个识别序号；多条缓存信息属于数据库中的同一数据分组；遍历模块72，用于按照识别序号确定缓存信息的更新方式；更新模块73，用于按照多条缓存信息和更新方式对数据库中的同一数据分组进行更新。

在一个实施例中，参见图11所示的批量更新数据库的装置结构框图，该装置还包括数据库事务模块74，用于：生成数据库中的同一数据分组对应的多条缓存信息。

在一个实施例中，更新模块，具体用于：若收到报错信息，则根据报错信息确定失败交易的识别序号；按照失败交易的识别序号对多条缓存信息进行分组，得到分组结果；按照失败交易的识别序号和分组结果对数据库中的同一数据分组进行更新。

在一个实施例中，更新模块，具体用于：记录交易成功的缓存信息的条数；记录已交易的缓存信息的条数；若已交易的缓存信息的条数大于交易成功的缓存信息的条数，则将已交易的缓存信息的条数作为失败交易的识别序号。

本发明实施例还提供一种计算机设备，参见图12所示的计算机设备结构示意框图，该计算机设备包括存储器81、处理器82及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一种批量更新数据库的方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的计算机设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有执行上述任一种批量更新数据库的方法的计算机程序。

本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种批量更新数据库的方法，其特征在于，包括：

通过SQL Map执行器设置批量标志为真，获取多条缓存信息；每条所述缓存信息包括一个识别序号；所述多条缓存信息属于数据库中的同一数据分组；

按照所述识别序号确定所述缓存信息的更新方式；

按照所述多条缓存信息和所述更新方式对所述数据库中的同一数据分组进行更新；

按照所述缓存信息和所述更新方式对所述数据库中的同一数据分组进行更新，包括：

若收到报错信息，则根据所述报错信息确定失败交易的识别序号，记为K；

将所述多条缓存信息中最小识别序号至K的缓存信息分为第一组，识别序号为k+1至最大识别序号的缓存信息分为为第二组；

分别按照第一组、第K笔失败交易、第二组对数据库中的同一数据分组进行更新。

2.根据权利要求1所述的方法，其特征在于，获取多条缓存信息之前，还包括：

生成数据库中的同一数据分组对应的多条缓存信息。

3.根据权利要求1所述的方法，其特征在于，根据所述报错信息确定失败交易的识别序号，包括：

记录交易成功的缓存信息的条数；

记录已交易的缓存信息的条数；

若所述已交易的缓存信息的条数大于所述交易成功的缓存信息的条数，则将所述已交易的缓存信息的条数作为失败交易的识别序号。

4.一种批量更新数据库的装置，其特征在于，包括：

获取模块，用于通过SQL Map执行器设置批量标志为真，获取多条缓存信息；每条所述缓存信息包括一个识别序号；所述多条缓存信息属于数据库中的同一数据分组；

遍历模块，用于按照所述识别序号确定所述缓存信息的更新方式；

更新模块，用于按照所述多条缓存信息和所述更新方式对所述数据库中的同一数据分组进行更新；

所述更新模块，具体用于：

若收到报错信息，则根据所述报错信息确定失败交易的识别序号，记为K；

将所述多条缓存信息中最小识别序号至K的缓存信息分为第一组，识别序号为k+1至最大识别序号的缓存信息分为为第二组；

分别按照第一组、第K笔失败交易、第二组对数据库中的同一数据分组进行更新。

5.根据权利要求4所述的装置，其特征在于，还包括数据库事务模块，用于：

生成数据库中的同一数据分组对应的多条缓存信息。

6.根据权利要求4所述的装置，其特征在于，所述更新模块，具体用于：

记录交易成功的缓存信息的条数；

记录已交易的缓存信息的条数；

若所述已交易的缓存信息的条数大于所述交易成功的缓存信息的条数，则将所述已交易的缓存信息的条数作为失败交易的识别序号。

7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3任一所述方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至3任一所述方法的计算机程序。