CN110334082A - 一种数据库的无损迁移方法及装置 - Google Patents

Abstract

本发明公开一种数据库的无损迁移方法及装置。其中，该方法包括：将主数据库的数据迁移到备数据库，并记录数据迁移期间所述主数据库的新日志；其中，数据迁移期间所述主数据库处于未上锁状态；根据所述主数据库的新日志执行所述主数据库与所述从数据库之间的数据备份操作。通过本发明，在需要对不断***、更新的数据库进行数据迁移时，不需要暂停对主数据库的写入、更新操作。保证生产环境下主数据库正常运转，数据无损迁移。避免能源数据在数据迁移时的数据丢失。

Description

一种数据库的无损迁移方法及装置

技术领域

本发明涉及数据迁移技术领域，具体而言，涉及一种数据库的无损迁移方法及装置。

背景技术

相关技术中，对数据库数据进行迁移时，不得不暂时停止对数据库的写入操作，以保证两个数据库数据的一致性。但是在IEMS***中，生产环境下，每秒钟都有大量的能源数据往数据库中***、更新，如果禁止数据写入，容易造成重要数据损坏或丢失。

针对现有技术中数据迁移过程易导致数据丢失的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例中提供一种数据库的无损迁移方法及装置，以解决现有技术中数据迁移过程易导致数据丢失的问题。

为解决上述技术问题，本发明提供了一种数据库的无损迁移方法，其中，所述方法包括：将主数据库的数据迁移到备数据库，并记录数据迁移期间所述主数据库的新日志；其中，数据迁移期间所述主数据库处于未上锁状态；根据所述主数据库的新日志执行所述主数据库与所述从数据库之间的数据备份操作。

进一步地，将主数据库的数据迁移到备数据库之前，所述方法还包括：配置所述主数据库以及所述主数据库的表在数据迁移期间处于未上锁状态。

进一步地，将主数据库的数据迁移到备数据库之前，所述方法还包括：记录主数据库的当前日志的位置点。

进一步地，根据所述主数据库的新日志执行所述主数据库与所述从数据库之间的数据备份操作，包括：根据所述位置点确定所述新日志的起始位置；基于所述主数据库的新日志的起始位置，执行所述主数据库与所述从数据库之间的数据备份操作。

进一步地，根据所述主数据库的新日志执行所述主数据库与所述从数据库之间的数据备份操作之前，所述方法还包括：调整所述从数据库的配置参数，以提高所述从数据库的备份速率。

进一步地，调整所述从数据库的配置参数，包括：控制日志刷新到磁盘的频率；和/或，禁用日志。

进一步地，根据所述主数据库的新日志执行所述主数据库与所述从数据库之间的数据备份操作之后，所述方法还包括：将所述从数据库的配置参数调整回数据备份之前的安全状态。

本发明还提供了一种数据库的无损迁移装置，其中，该装置包括：数据迁移模块，用于将主数据库的数据迁移到备数据库，并记录数据迁移期间所述主数据库的新日志；其中，数据迁移期间所述主数据库处于未上锁状态；数据备份模块，用于根据所述主数据库的新日志执行所述主数据库与所述从数据库之间的数据备份操作。

进一步地，所述装置还包括：配置模块，用于配置所述主数据库以及所述主数据库的表在数据迁移期间处于未上锁状态。

进一步地，所述装置还包括：记录模块，用于在数据迁移之前，记录主数据库的当前日志的位置点。

进一步地，根据所述主数据库的新日志执行所述主数据库与所述从数据库之间的数据备份操作，包括：所述数据备份模块，具体用于根据所述位置点确定所述新日志的起始位置；基于所述主数据库的新日志的起始位置，执行所述主数据库与所述从数据库之间的数据备份操作。

进一步地，所述装置还包括：参数调整模块，用于调整所述从数据库的配置参数，以提高所述从数据库的备份速率。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如上述的方法。

本发明还提供了一种电子设备，其中，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述的方法。

应用本发明的技术方案，在需要对不断***、更新的数据库进行数据迁移时，不需要暂停对主数据库的写入、更新操作。保证生产环境下主数据库正常运转，数据无损迁移。避免能源数据在数据迁移时的数据丢失。

附图说明

图1是根据本发明实施例的数据库的无损迁移方法的流程图；

图2是根据本发明实施例的主从架构示意图；

图3是根据本发明实施例的数据库的无损迁移装置的结构框图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者装置中还存在另外的相同要素。

下面结合附图详细说明本发明的可选实施例。

实施例一

图1是根据本发明实施例的数据库的无损迁移方法的流程图，如图1所示，该方法包括以下步骤：

步骤S101，将主数据库的数据迁移到备数据库，并记录数据迁移期间主数据库的新日志；其中，数据迁移期间主数据库处于未上锁状态；

步骤S102，根据主数据库的新日志执行主数据库与从数据库之间的数据备份操作。

本实施例在需要对不断***、更新的数据库进行数据迁移时，不需要暂停对主数据库的写入、更新操作。保证生产环境下主数据库正常运转，数据无损迁移。避免能源数据在数据迁移时的数据丢失。

为了保证数据迁移期间主数据库不暂停数据的写入更新操作，本实施例提供了一种优选实施方式，即在数据迁移之前，先要配置主数据库以及主数据库的表在数据迁移期间处于未上锁状态。保证主数据库不会因为数据迁移便中断数据的写入和更新，从而避免丢失数据。

对于在数据迁移期间，主数据库进行数据的写入更新等操作所产生的新日志，之后通过数据备份操作，将主数据库的这部分数据也迁移到从数据库中。具体地，在数据迁移之前，先记录主数据库的当前日志的位置点。在数据迁移之后，根据该位置点确定新日志的起始位置，然后基于主数据库的新日志的起始位置，执行主数据库与从数据库之间的数据备份操作。从而将主数据库在上述数据迁移期间的数据操作也备份到从数据库中，实现数据的无损迁移。本实施例中所述的日志，即二进制日志。

为了加快从数据库的备份速度，保证从数据库的复制速度跟上主数据库的数据更新速度。本实施例提供了一种优选实施方式，即调整从数据库的配置参数，以提高从数据库的备份速率。具体地，可以通过以下手段实现：控制日志刷新到磁盘的频率；和/或，禁用日志，等等。聚一次，以从数据的部分性能换取自身复制速度的提升。

随着数据备份的进行，主从数据库之间的时间差越来越小，在主数据库和从数据库的时间差为零时，便可确定数据备份结束。之后对数据进行一致性检验，再将从数据库的配置参数调整回数据备份之前的安全状态。保证从数据库维持正常的运转状态，可按需求对迁移的数据库进行正常操作。

需要说明的是，对于上述的数据备份技术，可以使用能够查看主数据库binlog日志信息的备份工具进行操作。

实施例二

图2是根据本发明实施例的主从架构示意图，如图2所示，将A数据库作为主库，B数据库作为从库，为后期两个数据快速同步做准备。主从复制架构搭建完成后，在主库A数据库记录二进制日志位置信息(bin-log日志位置信息)，并对A数据库进行备份，调整备份状态，保证备份时不对数据库上锁、不对表上锁。同时刷新二进制日志，确保开始备份后，主库的所有操作都记录在新的二进制日志中。备份结束后，重新查看A数据库的二进制日志信息，确认是否从一个新的二进制日志开始记录，并记录新二进制日志的起始位置。

在B数据库上进行数据恢复后，将A数据库作为主库，B数据库作为从库，开启主从复制。调整B数据库的部分参数，例如控制日志刷新到磁盘的频率，和/或，禁止将binlog日志刷新到磁盘，以B数据库的部分性能换取自身复制速率的提升。

考虑到能源数据库对数据的安全性要求比较高，所以主库的配置一般比较严格，一般要求每个事物提交后都要将操作写到二进制日志并刷新到磁盘。而从库作为数据迁移的库，迁移过程中对二进制依赖性不高，如果出现迁移异常，重新迁移即可。所以本实施例选择控制二进制刷新到磁盘的频率或者禁用二进制日志，来保证从库复制速度跟上主库数据的更新速度。

数据迁移完毕后，使用工具对数据进行一致性检验，将从库参数调整回安全状态，即可按需求对迁移的数据库进行正常操作。上述技术方案保证了不暂停能源数据库的前提条件下，做到能源数据的无损迁移。

实施例三

对应于图1介绍的数据库的无损迁移方法，本实施例提供了一种数据库的无损迁移装置，如图3所示的数据库的无损迁移装置的结构框图，该装置包括：

数据迁移模块10，用于将主数据库的数据迁移到备数据库，并记录数据迁移期间主数据库的新日志；其中，数据迁移期间主数据库处于未上锁状态；

数据备份模块20，用于根据主数据库的新日志执行主数据库与从数据库之间的数据备份操作。

本实施例在需要对不断***、更新的数据库进行数据迁移时，不需要暂停对主数据库的写入、更新操作。保证生产环境下主数据库正常运转，数据无损迁移。避免能源数据在数据迁移时的数据丢失。

为了保证数据迁移期间主数据库不暂停数据的写入更新操作，本实施例提供了一种优选实施方式，即上述装置还包括：配置模块，用于配置主数据库以及主数据库的表在数据迁移期间处于未上锁状态。保证主数据库不会因为数据迁移便中断数据的写入和更新，从而避免丢失数据。

上述装置还包括：记录模块，用于在数据迁移之前，记录主数据库的当前日志的位置点。上述数据备份模块，具体用于根据位置点确定新日志的起始位置；基于主数据库的新日志的起始位置，执行主数据库与从数据库之间的数据备份操作。从而将主数据库在上述数据迁移期间的数据操作也备份到从数据库中，实现数据的无损迁移。本实施例中所述的日志，即二进制日志。

为了加快从数据库的备份速度，保证从数据库的复制速度跟上主数据库的数据更新速度。本实施例提供了一种优选实施方式，即上述装置还包括：参数调整模块，用于调整从数据库的配置参数，以提高从数据库的备份速率。具体地，可以通过以下手段实现：控制日志刷新到磁盘的频率；和/或，禁用日志，等等。聚一次，以从数据的部分性能换取自身复制速度的提升。上述参数调整模块，还用于在数据备份操作结束之后，将从数据库的配置参数调整回数据备份之前的安全状态。保证从数据库维持正常的运转状态，可按需求对迁移的数据库进行正常操作。

实施例四

本实施例提供一种电子设备，该设备用于生产环境下能源数据库数据的无损迁移方法，所述电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：将主数据库的数据迁移到备数据库，并记录数据迁移期间主数据库的新日志；其中，数据迁移期间主数据库处于未上锁状态；根据主数据库的新日志执行主数据库与从数据库之间的数据备份操作。

本发明实施例的电子设备以多种形式存在，包括但不限于：

(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。

(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如iPad。

(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。

(4)服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、装置总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。

(5)其他具有数据交互功能的电子装置，例如电视机、车载大屏等。

实施例五

本发明实施例提供了一种软件，该软件用于执行上述实施例及优选实施方式中描述的技术方案。

本发明实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的数据无损迁移的方法。

上述存储介质中存储有上述软件，该存储介质包括但不限于：光盘、软盘、硬盘、可擦写存储器等。

本发明的技术方案可应用于IEMS***数据库或其他的能源数据库，保证能源数据不断更新、***的状态的同时，将主数据库数据迁移到从数据库，并保证从数据库快速跟上主数据库，以避免因停止主数据库造成数据丢失的问题。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种数据库的无损迁移方法，其特征在于，所述方法包括：

将主数据库的数据迁移到备数据库，并记录数据迁移期间所述主数据库的新日志；其中，数据迁移期间所述主数据库处于未上锁状态；

根据所述主数据库的新日志执行所述主数据库与所述从数据库之间的数据备份操作。

2.根据权利要求1所述的方法，其特征在于，将主数据库的数据迁移到备数据库之前，所述方法还包括：

配置所述主数据库以及所述主数据库的表在数据迁移期间处于未上锁状态。

3.根据权利要求1所述的方法，其特征在于，将主数据库的数据迁移到备数据库之前，所述方法还包括：

记录主数据库的当前日志的位置点。

4.根据权利要求3所述的方法，其特征在于，根据所述主数据库的新日志执行所述主数据库与所述从数据库之间的数据备份操作，包括：

根据所述位置点确定所述新日志的起始位置；

基于所述主数据库的新日志的起始位置，执行所述主数据库与所述从数据库之间的数据备份操作。

5.根据权利要求1所述的方法，其特征在于，根据所述主数据库的新日志执行所述主数据库与所述从数据库之间的数据备份操作之前，所述方法还包括：

调整所述从数据库的配置参数，以提高所述从数据库的备份速率。

6.根据权利要求5所述的方法，其特征在于，调整所述从数据库的配置参数，包括：

控制日志刷新到磁盘的频率；和/或，禁用日志。

7.根据权利要求5所述的方法，其特征在于，根据所述主数据库的新日志执行所述主数据库与所述从数据库之间的数据备份操作之后，所述方法还包括：

将所述从数据库的配置参数调整回数据备份之前的安全状态。

8.一种数据库的无损迁移装置，其特征在于，所述装置包括：

数据迁移模块，用于将主数据库的数据迁移到备数据库，并记录数据迁移期间所述主数据库的新日志；其中，数据迁移期间所述主数据库处于未上锁状态；

数据备份模块，用于根据所述主数据库的新日志执行所述主数据库与所述从数据库之间的数据备份操作。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至7中任一项所述的方法。

10.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至7中任一项所述的方法。