CN102262662A - 实现异构平台下数据库数据迁移的***、装置及方法 - Google Patents

Abstract

本发明披露了实现异构平台下数据库数据迁移的***、装置及方法，其中***包括依次连接的源端数据库、数据迁移装置以及目标端数据库，其中：源端数据库将各个应用业务发生更改的数据记载在日志流中；数据迁移装置从源端数据库记载的日志流中捕获应用业务发生更改的数据，将更改的数据随相应的应用业务一起通过相应的解译转换成标准的数据库查询语句，并传递给目标端数据库；目标端数据库通过执行标准的数据库查询语句完成与源端数据库的数据同步。本发明解决了不同数据库之间业务的触发及数据存储等据库描述语法上的差异的问题，确保了源端和目标端的数据一致性。

Description

实现异构平台下数据库数据迁移的***、装置及方法

技术领域

本发明涉及计算机技术中不同数据库之间数据迁移的方法，尤其涉及实现异构平台下数据库数据迁移的***、装置及方法。

背景技术

信息技术(IT，Information Technology)***经过长时期运行，一方面因其异构化为企业的信息升级和管理带来了更大的复杂性，另一方面也因方便用户使用而起的作用愈大，导致数据量也愈巨大，以及业务类型也愈多样化。这样一来，使得企业的各项运作都较强地依赖于IT***的正常运行，由此使得很多IT人员都面临着类似如下一些问题：

(1)如何实现不同平台架构下的客户业务的迁移

例如，将非X86架构下的客户业务迁移到一个可以不停扩展和扩张的X86架构下，能够为后期的业务应用升级和迁移提供更多的灵活性。

(2)如何确保不同平台架构下的客户业务的数据平滑无缝地迁移，并确保数据迁移过程中的安全性及可靠性

例如，确保将非X86架构下数据库中的用户业务数据平滑无缝地迁移到X86架构的数据库中，并确保数据迁移过程中非X86架构下的用户业务不因宕机而中断。

(3)如何实现不同平台架构下的数据库之间的数据同步

目前应用广泛的具异构平台架构下数据实时迁移的方案，例如数据复制方案(Shareplex)、数据库容灾恢复方案(RealSync)以及数据库自带的高可用组件，虽然这些方案在一定程度上可以满足部分客户业务应用的需求，但是同时也存在诸多不足，主要表现在如下一些方面：

1)由于要求源端和目标端的数据库类型必须一致，故很难满足异构平台下的数据库中数据的无缝迁移，例如像SharePlex架构和RealSync架构之间数据的无缝迁移。

2)不能确保目标端数据库处于激活状态，从而造成数据迁移时需较长的停机时间，譬如Oracle的自身组件物理备库机制等。

由于上述技术上的不足，使得IT人员难以解决其所面临的上述种种问题，导致出现不利于技术继续发展的瓶颈。

发明内容

本发明所要解决的技术问题是提供一种实现异构平台下数据库数据迁移的***、装置及方法，能够确保异构下的客户业务数据平滑无缝地迁移。

为了解决上述技术问题，本发明提供了一种实现异构平台下数据库数据迁移的***，其特征在于，包括依次连接的源端数据库、数据迁移装置以及目标端数据库，其中：

源端数据库，用于将各个应用业务发生更改的数据记载在日志流中；

数据迁移装置，用于从源端数据库记载的日志流中捕获应用业务发生更改的数据，将更改的数据随相应的应用业务一起通过相应的解译转换成标准的数据库查询语句，并传递给目标端数据库；

目标端数据库，用于通过执行标准的数据库查询语句完成与源端数据库的数据同步。

进一步地，数据迁移装置包括依次连接的通用日志分析引擎模块、专用日志分析引擎模块以及业务解译模块，目标端数据库内置有标准数据查询引擎模块；其中：

通用日志分析引擎模块，用于将源端数据库记载的日志流指派给专用日志分析引擎模块中相应的专用数据库日志分析引擎；

专用日志分析引擎模块，用于通过相应的专用数据库日志分析引擎根据数据库特征和日志格式从日志流中捕获所述发生更改的数据，并与源端数据库中应用业务的触发、数据存储及操作一起，输出给业务解译模块；

业务解译模块，用于将源端数据库应用业务发生更改的数据及应用业务的触发、数据存储及操作通过解译，转换成标准的结构化查询语言语句，并通过互联网传递给目标端数据库中的标准数据查询引擎模块；

标准数据查询引擎模块，用于通过标准结构化查询语言引擎将解译的标准的结构化查询语言语句提供给目标端数据库的应用进程执行。

为了解决上述技术问题，本发明提供了一种实现异构平台下数据库数据迁移的装置，包括相互连接的专用日志分析引擎模块以及业务解译模块，其中：

专用日志分析引擎模块，用于从源端数据库记载的日志流中捕获应用业务发生更改的数据，并与应用业务一起输出给业务解译模块；

业务解译模块，用于将应用业务发生更改的数据及应用业务通过解译，转换成标准的结构化查询语言语句，并传递给目标端数据库。

进一步地，在专用日志分析引擎模块之前还包括通用日志分析引擎模块，其中：

通用日志分析引擎模块，用于将源端数据库记载的日志流指派给专用日志分析引擎模块中相应的专用数据库日志分析引擎；

专用日志分析引擎模块通过相应的专用数据库日志分析引擎根据数据库特征和日志格式从日志流中捕获发生更改的数据，并与应用业务的触发、数据存储及操作一起输出给业务解译模块；

业务解译模块将应用业务发生更改的数据及应用业务的触发、数据存储及操作通过解译，转换成标准的结构化查询语言语句，并通过互联网传递给目标端数据库中的标准数据查询引擎模块进行解译。

为了解决上述技术问题，本发明提供了一种实现异构平台下数据库数据迁移的方法，涉及源端数据库和数据迁移装置及目标端数据库，该方法包括：

源端数据库将各个应用业务发生更改的数据记载在日志流中；

数据迁移装置从源端数据库记载的日志流中捕获应用业务发生更改的数据，将更改的数据随相应的应用业务一起转换成标准的数据库查询语句，并传递到目标端数据库。

进一步地，在数据迁移装置捕获应用业务发生更改的数据之前，还包括：

为源端数据库建立捕获队列和传输队列，并建立捕获进程、解译进程以及传输进程。

进一步地，数据迁移装置从源端数据库记载的日志流中捕获应用业务发生更改的数据，将更改的数据随相应的应用业务一起转换成标准的数据库查询语句，并通过网络传递到目标端数据库，具体包括：

捕获进程在捕获队列有空闲空间时，当源端数据库在线日志发生归档切换后，通过相应的专用数据库日志分析引擎从日志流记录的停止分析的日志位置继续对日志进行分析，并将捕获到的更改数据记载在捕获队列中；

解译进程在传输队列有空闲空间时，通过相应的专用结构化查询语言解译器依次将捕获队列中的更改数据解译成标准的结构化查询语言语句后，记载在传输队列中；

传输进程将传输队列中的标准的结构化查询语言语句通过互联网传输给目标端数据库。

进一步地，该方法还包括：

目标端数据库通过执行标准的数据库查询语句完成与源端数据库的数据同步。

进一步地，目标端数据库通过执行标准的数据库查询语句完成与源端数据库的数据同步，具体包括：

目标端数据库监听到传输的标准的结构化查询语言语句，通过内置的标准结构化查询语言引擎从标准的结构化查询语言语句中解译出应用业务及其更改的数据，并提供给相应的应用进程执行。

本发明基于数据库日志挖掘机制，同时加入日志分析引擎和结构化查询语言(SQL，Structured Query Language)编译器引擎分析日志，并解译数据库中的数据的改变，从而完成跨平台、跨数据库类型之间的业务数据的无缝迁移，大大减轻了数据库的压力和网络负担，并利用触发机制确保断点续传及防止缓冲队列溢出，避免出现数据重传和断传问题，且整个分析、解译及应用过程对用户均是透明的，从而能够实现数据的无缝迁移和同步。

附图说明

图1为本发明的实现异构平台下数据库数据迁移的***实施例的结构框图；

图2为本发明的实现异构平台下数据库数据迁移的方法实施例的流程图。

具体实施方式

以下结合附图和优选实施例对本发明的技术方案进行详细地阐述。以下例举的实施例仅用于说明和解释本发明，而不构成对本发明技术方案的限制。

如图1所示，表示了本发明的实现异构平台下数据库数据迁移的***实施例，包括依次连接的源端数据库、本发明的数据迁移装置实施例以及目标端数据库，其中：

源端数据库，用于在日志流中记载各个应用业务发生改变的数据；

数据迁移装置，用于从源端数据库记载的日志流中捕获各个应用业务发生改变的数据，将源端数据库各应用业务通过相应的解译转换成标准的数据库查询语句，并通过网络传递到目标端数据库；

目标端数据库，用于通过执行标准的数据库查询语句完成与源端数据库的数据同步。

在上述***实施例中，数据迁移装置实施例包括依次连接的通用日志分析引擎模块、专用日志分析引擎模块以及业务解译模块，目标端数据库内置标准数据查询引擎模块；其中：

通用日志分析引擎模块，用于将源端数据库记载的日志流指派给专用日志分析引擎模块中相应的专用数据库日志分析引擎；

专用日志分析引擎模块，用于通过多个专用数据库日志分析引擎(1～n)根据数据库特征和日志格式从源端数据库记载的日志流捕获应用业务发生改变的数据，并与源端数据库中应用业务的触发、数据存储及操作一起，输出给业务解译模块；

业务解译模块，用于将源端数据库应用业务发生改变的数据及其触发、数据存储及操作通过解译，转换成标准的SQL语句，并通过互联网传递给目标端数据库内置的标准数据查询引擎模块；

标准数据查询引擎模块，用于通过标准SQL引擎将解译的标准的SQL语句提供给目标端数据库的应用进程执行，从而完成与源端数据库的数据同步。

本发明的上述基于日志分析机制的***实施例及其装置实施例，其主要设计思想是，利用关系型数据库对标准SQL语句的支持及回滚操作，将最终数据的改变记录在日志中，通过分析日志中数据的改变来捕获数据库应用业务的行为，并通过标准的SQL解译器引擎解译成标准的SQL语句，解决了不同数据库之间业务的触发、数据存储以及操作等一些数据库描述语法上的差异，以实现不同数据库类型之间应用业务之间逻辑信号的传递，从而确保源端和目标端的数据一致性。

本发明针对以上***实施例及其装置实施例，相应地还提供了实现异构平台下数据库数据迁移的方法实施例，其流程如图2所示，包括如下步骤：

110：为源端数据库建立捕获队列和传输队列，并建立捕获进程、解译进程以及传输进程；

本发明的数据迁移装置为各类源端数据库的日志流中更改数据捕获和传输分别建立捕获队列和传输队列，同时建立捕获进程、解译进程以及传输进程。

120：判断捕获队列是否有空闲空间，是则执行下列步骤，否则执行步骤180；

130：捕获进程将从源端数据库日志流中捕获的更改数据依次记载在捕获队列中；

在源端数据库在线日志发生归档切换后，只要指定归档日志的路径，捕获进程通过相应的专用数据库日志分析引擎可从源端数据库日志流记录的停止分析的日志位置继续对日志进行分析，捕获到更改的数据，从而保证数据更改的一致性。

140：判断传输队列是否有空闲空间，是则执行下列步骤，否则执行步骤190；

一旦传输队列空间满时，会触发解译进程停止解译，直到传输队列有空余空间时，再触发解译进程进行解译。

150：解译进程依次将捕获队列中的更改数据解译成标准的SQL语句，然后记载在传输队列中；

解译进程通过相应的专用SQL解译器依次将捕获队列中的更改数据解译成标准的SQL语句后，记载在传输队列中。

160：传输进程将传输队列中记载的标准的SQL语句传输给目标端数据库；

传输进程通过基于TCP/IP协议传输SQL语句，可以保证异地远距离传输；并且由于SQL语句本身占用带宽较小，故可减轻网络压力。

170：目标端数据库通过内置的标准SQL引擎从标准的SQL语句中解译出应用业务及其更改的数据，并提供给相应的应用进程执行，返回步骤120执行；

目标端数据库通过监听察觉到传输的标准的SQL语句，并通过应用进程在目标端数据库中运行解译的标准的SQL语句，从而实现异构平台之间数据的实时无缝迁移。

180：捕获进程停止捕获，执行步骤140；

190：解译进程停止解译，执行步骤160。

在上述方法实施例的整个执行过程中，通过在本发明的数据迁移装置实施例中引入捕获进程、解译进程、及传递进程来对源端数据库中更改的数据进行捕获、分析及解译，并将其传输到目标端数据库通过应用进程执行。这四个进程均不会对源端数据库造成任何影响，通过本发明的数据迁移装置实施例中内置的进程工作触发关系，即使在某个进程由于意外原因down掉，也不会造成源端数据库中更改的数据的断传。

本发明的上述方法实施例从常见关系型数据库的运行原理入手，引入了日志分析引擎和SQL解译器引擎，将不同类型数据库之间的日志格式差异和SQL语法差异抽象成与数据库类型无关的标准的SQL语句，并利用目标端数据库内置的标准SQL引擎将标准的SQL语句解译成应用进程执行的语句，从而确保异构平台下异构数据库之间数据的同步。

另外，通过装置实施例中内置的触发机制，来协调捕获进程、解译进程、传输进程之间同步关系，以确保源端数据库更改的数据不断传。通过分析日志的机制，不影响源端数据库的正常运行，同时对源端数据库性能影响微乎其微，且数据延时较小。

对于本领域的专业人员来说，在了解了本发明内容和原理后，能够在不背离本发明的原理和范围的情况下，根据本发明的方法进行形式和细节上的各种修正和改变，但是这些基于本发明的修正和改变仍在本发明的权利要求保护范围之内。

Claims (9)

1.一种实现异构平台下数据库数据迁移的***，其特征在于，包括依次连接的源端数据库、数据迁移装置以及目标端数据库，其中：

源端数据库，用于将各个应用业务发生更改的数据记载在日志流中；

数据迁移装置，用于从源端数据库记载的日志流中捕获所述应用业务发生更改的数据，将所述更改的数据随相应的应用业务一起通过相应的解译转换成标准的数据库查询语句，并传递给目标端数据库；

目标端数据库，用于通过执行标准的数据库查询语句完成与源端数据库的数据同步。

2.按照权利要求1所述的***，其特征在于，所述数据迁移装置包括依次连接的通用日志分析引擎模块、专用日志分析引擎模块以及业务解译模块，所述目标端数据库内置有标准数据查询引擎模块；其中：

通用日志分析引擎模块，用于将所述源端数据库记载的日志流指派给专用日志分析引擎模块中相应的专用数据库日志分析引擎；

专用日志分析引擎模块，用于通过相应的专用数据库日志分析引擎根据数据库特征和日志格式从所述日志流中捕获所述发生更改的数据，并与所述源端数据库中应用业务的触发、数据存储及操作一起，输出给业务解译模块；

业务解译模块，用于将源端数据库应用业务发生更改的数据及所述应用业务的触发、数据存储及操作通过解译，转换成标准的结构化查询语言语句，并通过互联网传递给所述目标端数据库中的标准数据查询引擎模块；

标准数据查询引擎模块，用于通过标准结构化查询语言引擎将解译的标准的结构化查询语言语句提供给所述目标端数据库的应用进程执行。

3.一种实现异构平台下数据库数据迁移的装置，包括相互连接的专用日志分析引擎模块以及业务解译模块，其中：

专用日志分析引擎模块，用于从源端数据库记载的日志流中捕获应用业务发生更改的数据，并与所述应用业务一起输出给业务解译模块；

业务解译模块，用于将所述应用业务发生更改的数据及所述应用业务通过解译，转换成标准的结构化查询语言语句，并传递给所述目标端数据库。

4.按照权利要求3所述的装置，其特征在于，在所述专用日志分析引擎模块之前还包括通用日志分析引擎模块，其中：

通用日志分析引擎模块，用于将所述源端数据库记载的日志流指派给所述专用日志分析引擎模块中相应的专用数据库日志分析引擎；

所述专用日志分析引擎模块通过所述相应的专用数据库日志分析引擎根据数据库特征和日志格式从所述日志流中捕获所述发生更改的数据，并与所述应用业务的触发、数据存储及操作一起输出给所述业务解译模块；

所述业务解译模块将所述应用业务发生更改的数据及所述应用业务的触发、数据存储及操作通过解译，转换成标准的结构化查询语言语句，并通过互联网传递给所述目标端数据库中的标准数据查询引擎模块进行解译。

5.一种实现异构平台下数据库数据迁移的方法，涉及源端数据库和数据迁移装置及目标端数据库，该方法包括：

源端数据库将各个应用业务发生更改的数据记载在日志流中；

数据迁移装置从所述源端数据库记载的日志流中捕获所述应用业务发生更改的数据，将所述更改的数据随相应的应用业务一起转换成标准的数据库查询语句，并传递到目标端数据库。

6.按照权利要求5所述的方法，其特征在于，在所述数据迁移装置捕获所述应用业务发生更改的数据之前，还包括：

为所述源端数据库建立捕获队列和传输队列，并建立捕获进程、解译进程以及传输进程。

7.按照权利要求6所述的方法，其特征在于，所述数据迁移装置从所述源端数据库记载的日志流中捕获所述应用业务发生更改的数据，将所述更改的数据随相应的应用业务一起转换成标准的数据库查询语句，并通过网络传递到目标端数据库，具体包括：

所述捕获进程在所述捕获队列有空闲空间时，当所述源端数据库在线日志发生归档切换后，通过相应的专用数据库日志分析引擎从所述日志流记录的停止分析的日志位置继续对所述日志进行分析，并将捕获到的更改数据记载在所述捕获队列中；

所述解译进程在所述传输队列有空闲空间时，通过相应的专用结构化查询语言解译器依次将所述捕获队列中的更改数据解译成标准的结构化查询语言语句后，记载在所述传输队列中；

所述传输进程将所述传输队列中的所述标准的结构化查询语言语句通过互联网传输给所述目标端数据库。

8.按照权利要求7所述的方法，其特征在于，还包括：

所述目标端数据库通过执行标准的数据库查询语句完成与所述源端数据库的数据同步。

9.按照权利要求8所述的方法，其特征在于，所述目标端数据库通过执行标准的数据库查询语句完成与所述源端数据库的数据同步，具体包括：

所述目标端数据库监听到传输的所述标准的结构化查询语言语句，通过内置的标准结构化查询语言引擎从所述标准的结构化查询语言语句中解译出所述应用业务及其所述更改的数据，并提供给相应的应用进程执行。

Images