CN111046051A - 数据一致性实现方法、装置及存储介质 - Google Patents

Abstract

本申请提出一种数据一致性实现方法、装置及存储介质，其中，所述方法包括：当主数据库和备数据库的数据复制模式均为预设模式时，从所述主数据库获取所述主数据库执行当前业务时生成的日志数据，所述预设模式为全同步复制模式或半同步复制模式；在所述主数据库提交已执行的所述当前业务之前，将所述日志数据拷贝至备数据库。通过本申请，能够确保主数据库和备数据库之间的数据能够实时同步，提高主备数据库之间的数据一致性，提高金融业务***的可用性，提高业务连续性，解决相关技术中无法保证主备数据库之间的数据一致性，导致主数据库故障时数据库的可用性降低，金融业务的连续性受影响的技术问题。

Description

数据一致性实现方法、装置及存储介质

技术领域

本申请涉及金融领域，尤其涉及一种数据一致性实现方法、装置及存储介质。

背景技术

目前，MySQL数据库产品已日渐成熟。由于MySQL主备数据库间的数据同步是异步进行的，并且是逻辑复制，无法保证备数据库与主数据库的数据一致性。

在互联网场景下，为了确保主备数据库的数据一致性，通常是定期检查校验主备数据库中的数据是否一致，并修复不一致的数据。然而，这种方式并不适用于金融业务。由于后期检查校验才发现数据不一致，此时业务可能已运行一段时间，业务处理***可能在错误的数据库上运行，从而导致用户账户资金异常。因此在金融领域应用MySQL数据库时，当主数据库故障时，多采用停止对外提供服务的方式来避免业务处理***在错误的数据库上处理业务，在不一致的数据修复后再重新对外提供服务，这将导致金融业务***的可用性降低，影响了业务连续性。因此，如何保证MySQL主备数据库之间数据的一致性，成为金融行业使用MySQL数据库待解决的关键问题。

发明内容

本申请提出一种数据一致性实现方法、装置及存储介质，用于解决相关技术中无法保证主备数据库之间的数据一致性，导致主数据库故障时数据库的可用性降低，金融业务的连续性受影响的技术问题。

本申请第一方面实施例提出了一种数据一致性实现方法，包括：

当主数据库和备数据库的数据复制模式均为预设模式时，从所述主数据库获取所述主数据库执行当前业务时生成的日志数据，所述预设模式为全同步复制模式或半同步复制模式；

在所述主数据库提交已执行的所述当前业务之前，将所述日志数据拷贝至备数据库。

本申请实施例的数据一致性实现方法，通过当主数据库和备数据库的数据复制模式均为预设模式时，从主数据库获取主数据库执行当前业务时生成的日志数据，预设模式为全同步复制模式或半同步复制模式，在主数据库提交已执行的当前业务之前，将日志数据拷贝至备数据库。由此，通过在主数据库提交已执行的当前业务之前，将日志数据拷贝至备数据库，以确保主数据库和备数据库之间的数据能够实时同步，提高了主备数据库之间的数据一致性，从而即使在主数据库提交当前业务时故障，备数据库仍拷贝有主数据库的完整数据，不会造成业务丢失，确保了金融用户数据的完整性，从而无需暂停服务来核对业务数据，提高了金融业务***的可用性，提高了业务连续性，提升了用户体验。

本申请第二方面实施例提出了一种数据一致性实现装置，包括：

获取模块，用于当主数据库和备数据库的数据复制模式均为预设模式时，从所述主数据库获取所述主数据库执行当前业务时生成的日志数据，所述预设模式为全同步复制模式或半同步复制模式；

拷贝模块，用于在所述主数据库提交已执行的所述当前业务之前，将所述日志数据拷贝至备数据库。

本申请实施例的数据一致性实现装置，通过当主数据库和备数据库的数据复制模式均为预设模式时，从主数据库获取主数据库执行当前业务时生成的日志数据，预设模式为全同步复制模式或半同步复制模式，在主数据库提交已执行的当前业务之前，将日志数据拷贝至备数据库。由此，通过在主数据库提交已执行的当前业务之前，将日志数据拷贝至备数据库，以确保主数据库和备数据库之间的数据能够实时同步，提高了主备数据库之间的数据一致性，从而即使在主数据库提交当前业务时故障，备数据库仍拷贝有主数据库的完整数据，不会造成业务丢失，确保了金融用户数据的完整性，从而无需暂停服务来核对业务数据，提高了金融业务***的可用性，提高了业务连续性，提升了用户体验。

本申请第三方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被处理器执行时，实现如前述第一方面实施例所述的数据一致性实现方法。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请一实施例提出的数据一致性实现方法的流程示意图；

图2为本申请一实施例提出的数据一致性实现装置的结构示意图；

图3为本申请另一实施例提出的数据一致性实现装置的结构示意图；以及

图4为本申请又一实施例提出的数据一致性实现装置的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的数据一致性实现方法、装置及存储介质。

在金融行业中，由于绝大多数业务场景都跟用户个人账户资金相关，对于核心金融应用***来说，数据库的数据一致性尤为重要。绝大多数银行、券商、保险公司等金融机构都使用了商业数据库加小机存储来作为底层数据存储。伴随着互联网的发展，MySQL数据库产品日渐成熟，部分新型互联网金融公司及传统金融公司使用了新的IT架构，该架构下底层存储使用了开源数据库，比如MySQL、PostgresSQL等。由于MySQL主备数据库之间的数据同步是异步进行的，并且是逻辑复制，无法保证数据的一致性。

在互联网场景下，使用MySQL数据库时，为了确保主备数据库中的数据一致性，通用做法是定期检查校验主备数据库中数据是否一致，并修复不一致的数据。然而，这种方式在金融业务上无法实施。由于主备数据库中的数据可能不一致，如果后期检查校验才发现主备数据库中的数据不一致，此时金融业务可能已经运行了很长时间，如果应用***在错误的数据库上运行，这往往意味着用户账户资金错误，引发公司资金损失。因此，在金融业务中，如果主数据库故障，多选择停止对外提供服务，当核对处理完差异数据后再重新对外提供服务，以牺牲金融业务***的可用性的方式来换取主备数据库之间的数据一致性，但这种方式会影响业务的连续性，影响用户体验。

针对上述问题，本申请提供了一种数据一致性实现方法，通过当主数据库和备数据库的数据复制模式均为全同步复制模式或半同步复制模式时，从主数据库获取主数据库执行当前业务时生成的日志数据，在主数据库提交已执行的当前业务之前，将日志数据拷贝至备数据库，以确保主数据库和备数据库之间的数据能够实时同步，提高了主备数据库之间的数据一致性，从而即使在主数据库提交当前业务时故障，备数据库仍拷贝有主数据库的完整数据，不会造成业务丢失，确保了金融用户数据的完整性，从而无需暂停服务来核对业务数据，提高了金融业务***的可用性，提高了业务连续性，提升了用户体验。

图1为本申请一实施例提出的数据一致性实现方法的流程示意图，本实施例的数据一致性实现方法可以由本申请提出的数据一致性实现装置执行，也可以由电子设备执行，比如由服务器执行。下述实施例以由数据一致性实现装置来执行本实施例的数据一致性实现方法作为示例来解释说明本申请，但不能作为对本申请的限制。

如图1所示，数据一致性实现方法可以包括以下步骤：

步骤101，当主数据库和备数据库的数据复制模式均为预设模式时，从主数据库获取主数据库执行当前业务时生成的日志数据，预设模式为全同步复制模式或半同步复制模式。

为了保证金融业务***的高可用性及用户数据的安全可靠，针对金融业务***使用MySQL数据库的场景，需要最大程度的保障用户数据不丢失，避免主备数据库之间的数据不一致，并在可能出现数据不一致的场景下及时发现止损。

本实施例中，为了保障MySQL主备数据库中数据的强一致性，需要确保主数据库和备数据库的数据复制模式均为全同步复制模式或半同步复制模式，也就是说，主数据库和备数据库的数据复制模式同为全同步复制模式，或者，同为半同步复制模式。当主数据库和备数据库的数据复制模式同为全同步复制模式或者同为半同步复制模式时，从主数据库获取主数据库执行当前业务时生成的日志数据。

步骤102，在主数据库提交已执行的当前业务之前，将日志数据拷贝至备数据库。

本实施例中，从主数据库获取了日志数据之后，可以在主数据库提交已执行的当前业务之前，将获取的日志数据拷贝至备数据库，以确保主备库数据能实时同步，实现备数据库与主数据库之间的数据一致性，从而，即使主数据库在提交已执行的当前业务时出现故障，备数据库中依然有主数据库的完整拷贝，确保了金融用户数据的完整性，在主数据库故障时不会丢失业务。

在本申请实施例一种可能的实现方式中，当预设模式为半同步复制模式时，将日志数据拷贝至备数据库时，可以将日志数据写入备数据库的中继日志中，并向主数据库返回确认消息，其中，确认消息用于指示备数据库已拷贝日志数据，主数据库接收到确认消息后，提交已执行的当前业务。

在本申请实施例一种可能的实现方式中，当预设模式为全同步复制模式时，将日志数据拷贝至备数据库时，备数据库根据日志数据，执行与主数据库当前执行的相同业务，并在备数据库执行完当前业务后，主数据库提交已执行的当前业务，也就是说，当主数据库和备数据库的数据复制模式为全同步复制模式时，备数据库通过执行与主数据库相同的业务的方式来实现日志数据的拷贝，实现备数据库与主数据库之间的数据一致性。

本申请实施例中，当主数据库和备数据库的数据复制模式同为半同步复制模式或全同步复制模式时，主数据库执行完客户端申请的当前业务后，先不向客户端提交当前业务的执行结果，而是先将执行当前业务时生成的日志数据在备数据库进行备份，将日志数据拷贝至备数据库，之后再提交已执行的当前业务，从而既保证了主数据库和备数据库之间的数据一致性，又可以在主数据库故障时，直接将备数据库切换为主数据库来对外提供服务，避免了主数据库和备数据库数据不一致导致的金融用户数据丢失或暂停业务，确保了业务连续性和用户数据安全可靠。

本实施例的数据一致性实现方法，通过当主数据库和备数据库的数据复制模式均为预设模式时，从主数据库获取主数据库执行当前业务时生成的日志数据，预设模式为全同步复制模式或半同步复制模式，在主数据库提交已执行的当前业务之前，将日志数据拷贝至备数据库。由此，通过在主数据库提交已执行的当前业务之前，将日志数据拷贝至备数据库，以确保主数据库和备数据库之间的数据能够实时同步，提高了主备数据库之间的数据一致性，从而即使在主数据库提交当前业务时故障，备数据库仍拷贝有主数据库的完整数据，不会造成业务丢失，确保了金融用户数据的完整性，从而无需暂停服务来核对业务数据，提高了金融业务***的可用性，提高了业务连续性，提升了用户体验。

在本申请实施例一种可能的实现方式中，在当主数据库和备数据库的数据复制模式均为预设模式时，从主数据库获取主数据库执行当前业务时生成的日志数据之前，还可以将主数据库和备数据库的日志同步参数和文件同步参数配置为1，以实现提交每个业务时日志数据的持久化，确保数据库自身故障后能够恢复至故障前的状态，从而避免数据丢失。

预写式日志(Write-Ahead Logging，WAL)是保证数据完整性的一种标准方法，当WAL中的binlog有事务数据，但是事务日志的redo log数据没有持久化，或者，当redo log持久化，但binlog没有持久化记录数据的修改时，数据库故障后自身的数据会不一致。由于数据库故障后需要结合binlog和redo log来决定事务恢复或回退操作，binlog或redo log在数据库突然断电的情况下很容易损坏，导致数据库恢复时无法正常恢复事务。从而，本实施例中，为了保障日志数据不丢失，可以将主数据库和备数据库的日志同步参数和文件同步参数配置为1。具体地，配置日志同步参数sync_binlog＝1，配置文件同步参数innodb_flush_log_at_trx_commit＝1。

从而，通过配置binlog、redo log日志的持久化策略，确保了数据库自身故障后能够恢复到故障前的状态，避免了数据丢失，保证了数据的完整性。

在本申请实施例一种可能的实现方式中，在当主数据库和备数据库的数据复制模式均为预设模式时，从主数据库获取主数据库执行当前业务时生成的日志数据之前，还可以将备数据库的工作状态设置为只读状态。进一步地，当主数据库故障时，将备数据库的工作状态切换为读写状态。

默认情况先，数据库是用于读写操作的，即主数据库和备数据库的工作状态均为读写状态。而本申请实施例中，为了最大限度地保障数据库在运行过程中数据不被误修改，导致用户数据丢失，可以配置主数据库为读写状态，配置备数据库为只读状态，具体地，可以通过将备数据库的工作状态配置为super_read_only，当备数据库为只读状态时，并不影响备数据库的同步复制功能，从而，同一套数据库(包括主数据库和备数据库)中只有一个数据可以写数据，若主数据库发生故障，再将备数据库的工作状态切换为读写状态，从而最大限度地保证了数据不被误修改，降低了数据被误修改的概率，进一步提高了主数据库和备数据库之间的数据一致性。

为了实现上述实施例，本申请还提出一种数据一致性实现装置。

图2为本申请一实施例提出的数据一致性实现装置的结构示意图。

如图2所示，该数据一致性实现装置20包括：获取模块210和拷贝模块220。

其中，获取模块210，用于当主数据库和备数据库的数据复制模式均为预设模式时，从主数据库获取主数据库执行当前业务时生成的日志数据，预设模式为全同步复制模式或半同步复制模式。

拷贝模块220，用于在主数据库提交已执行的当前业务之前，将日志数据拷贝至备数据库。

在本申请实施例一种可能的实现方式中，拷贝模块220具体用于：将日志数据写入备数据库的中继日志中，并向主数据库返回确认消息，以使主数据库接收到确认消息后，提交已执行的当前业务。

进一步地，在本申请实施例一种可能的实现方式中，如图3所示，在如图2所示实施例的基础上，该数据一致性实现装置20，还包括：

配置模块230，用于将主数据库和备数据库的日志同步参数和文件同步参数配置为1。

通过将主数据库和备数据库的日志同步参数和文件同步参数配置为1，确保了数据库自身故障后能够恢复到故障前的状态，避免了数据丢失，保证了数据的完整性。

在本申请实施例一种可能的实现方式中，在前述实施例的基础上，该数据一致性实现装置20还包括设置模块，用于将备数据库的工作状态设置为只读状态。例如，如图4所示，在如图2所示实施例的基础上，该数据一致性实现装置20，还包括：

设置模块240，用于将备数据库的工作状态设置为只读状态。

进一步地，设置模块240还用于：当主数据库故障时，将备数据库的工作状态切换为读写状态。

通过设置备数据库为只读状态，最大限度地保证了数据不被误修改，降低了数据被误修改的概率，进一步提高了主数据库和备数据库之间的数据一致性。

需要说明的是，前述对数据一致性实现方法实施例的解释说明也适用于该实施例的数据一致性实现装置，其实现原理类似，此处不再赘述。

本申请实施例的数据一致性实现装置，通过当主数据库和备数据库的数据复制模式均为预设模式时，从主数据库获取主数据库执行当前业务时生成的日志数据，预设模式为全同步复制模式或半同步复制模式，在主数据库提交已执行的当前业务之前，将日志数据拷贝至备数据库。由此，通过在主数据库提交已执行的当前业务之前，将日志数据拷贝至备数据库，以确保主数据库和备数据库之间的数据能够实时同步，提高了主备数据库之间的数据一致性，从而即使在主数据库提交当前业务时故障，备数据库仍拷贝有主数据库的完整数据，不会造成业务丢失，确保了金融用户数据的完整性，从而无需暂停服务来核对业务数据，提高了金融业务***的可用性，提高了业务连续性，提升了用户体验。

为了实施上述实施例，本申请还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被处理器执行时，实现如前述实施例所述的数据一致性实现方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (11)

1.一种数据一致性实现方法，其特征在于，包括以下步骤：

当主数据库和备数据库的数据复制模式均为预设模式时，从所述主数据库获取所述主数据库执行当前业务时生成的日志数据，所述预设模式为全同步复制模式或半同步复制模式；

在所述主数据库提交已执行的所述当前业务之前，将所述日志数据拷贝至备数据库。

2.如权利要求1所述的方法，其特征在于，当所述预设模式为半同步复制模式时，所述将所述日志数据拷贝至备数据库，包括：

将所述日志数据写入所述备数据库的中继日志中，并向所述主数据库返回确认消息，以使所述主数据库接收到所述确认消息后，提交已执行的所述当前业务。

3.如权利要求1所述的方法，其特征在于，在所述当主数据库和备数据库的数据复制模式均为预设模式时，从所述主数据库获取所述主数据库执行当前业务时生成的日志数据之前，还包括：

将所述主数据库和所述备数据库的日志同步参数和文件同步参数配置为1。

4.如权利要求1-3任一所述的方法，其特征在于，在所述当主数据库和备数据库的数据复制模式均为预设模式时，从所述主数据库获取所述主数据库执行当前业务时生成的日志数据之前，还包括：

将所述备数据库的工作状态设置为只读状态。

5.如权利要求4所述的方法，其特征在于，还包括：

当所述主数据库故障时，将所述备数据库的工作状态切换为读写状态。

6.一种数据一致性实现装置，其特征在于，包括：

获取模块，用于当主数据库和备数据库的数据复制模式均为预设模式时，从所述主数据库获取所述主数据库执行当前业务时生成的日志数据，所述预设模式为全同步复制模式或半同步复制模式；

拷贝模块，用于在所述主数据库提交已执行的所述当前业务之前，将所述日志数据拷贝至备数据库。

7.如权利要求6所述的装置，其特征在于，当所述预设模式为半同步复制模式时，所述拷贝模块，具体用于：

将所述日志数据写入所述备数据库的中继日志中，并向所述主数据库返回确认消息，以使所述主数据库接收到所述确认消息后，提交已执行的所述当前业务。

8.如权利要求6所述的装置，其特征在于，还包括：

配置模块，用于将所述主数据库和所述备数据库的日志同步参数和文件同步参数配置为1。

9.如权利要求6-8任一项所述的装置，其特征在于，还包括：

设置模块，用于将所述备数据库的工作状态设置为只读状态。

10.如权利要求9所述的装置，其特征在于，所述设置模块，还用于：

当所述主数据库故障时，将所述备数据库的工作状态切换为读写状态。

11.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序被处理器执行时，实现如权利要求1-5任一项所述的数据一致性实现方法。

Images