CN101266606A - 一种基于Oracle数据库的在线数据迁移方法 - Google Patents

一种基于Oracle数据库的在线数据迁移方法 Download PDF

Info

Publication number
CN101266606A
CN101266606A CNA2007100886811A CN200710088681A CN101266606A CN 101266606 A CN101266606 A CN 101266606A CN A2007100886811 A CNA2007100886811 A CN A2007100886811A CN 200710088681 A CN200710088681 A CN 200710088681A CN 101266606 A CN101266606 A CN 101266606A
Authority
CN
China
Prior art keywords
data
trigger
source
database
log
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007100886811A
Other languages
English (en)
Other versions
CN101266606B (zh
Inventor
陈吉平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Cloud Computing Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN2007100886811A priority Critical patent/CN101266606B/zh
Publication of CN101266606A publication Critical patent/CN101266606A/zh
Priority to HK08113829.2A priority patent/HK1120887A1/xx
Application granted granted Critical
Publication of CN101266606B publication Critical patent/CN101266606B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明揭示了基于Oracle数据库实现在线数据迁移的方法,主要包括prebuiltmv、trigger+procedure和trigger+sql*loader+程序。上述三种方式均采用记录源表的操作日志、完全刷新和增量刷新同步日志和迁移切换以完成数据迁移。采用本发明的prebuilt mv和trigger+procedure可以实现跨平台、跨版本的数据迁移,而采用trigger+sql*loader+程序可以利用文本文件或者进程间的通信实现不同字符集的数据库之间的转换,因而可实现跨字符集的数据迁移。

Description

一种基于Oracle数据库的在线数据迁移方法
技术领域
本发明涉及数据库应用技术,尤其涉及Oracle数据库的应用技术。
背景技术
随着数据库管理***和操作***平台更新换代的速度不断加快,数据库工程师经常需要在两个不同的数据库之间或在两种不同的操作***平台之间进行数据迁移。数据迁移是指将数据从一台机器迁移到另一台机器,或者将数据从一个数据库迁移到另一个数据库,并且这些数据(包括结构定义)在转移后能正常运行。
在现有技术中,常用的数据迁移方法主要包括:采用导出/导入(export/import)或者Oracle 10g版本提供的导出/导入(expdp/impdp)方式、insert/+append/into...from db_link+nologging、standby迁移方式、利用stream与相关工具进行的数据迁移和基于表空间传输以及Oracle 10g的跨平台数据文件转换结合的方式。但是,上述的这些迁移方式有的停机时间过长,有的难以确定完全同步开始时的SCN点,有的则不能跨平台、跨版本和跨字符集进行数据迁移。
发明内容
针对基于Oracle数据库而进行数据迁移时所存在的上述技术缺陷,本发明提供了可实现跨平台、跨版本且高效快速的在线数据迁移方法。
按照本发明的一个方面,提供了一种采用prebuilt mv(materialized view:物化视图)方式进行数据迁移的方法。该方法是指在预先创建好的表上面建立物化视图,当该物化视图被删除的时候,原来已创建好的表仍予以保留,同时同步过来的数据也被保留。该方法采用表对象作为数据迁移的单个对象,并针对该表对象用一个主键刷新mv。首先在源表上创建mv日志,并在目标数据库上创建结构一样的目标表;然后在目标表上采用prebuilt方式创建mv,并进行完全刷新;在以后的创建过程中采用增量刷新方式,当需要进行数据库切换时只需刷新增量的日志,删除mv和保留目标表。该方法所实现的数据迁移可采用下列步骤:
(1)依照预定的容量大小对表对象进行分级,将超过所述预定容量的表对象作为大表,将低于所述预定容量的表对象作为小表;
(2)将所述大表作为源表,在源数据库上创建物化视图日志;
(3)在目标数据库上创建与所述源表的结构相同的目标表,并在所述目标表上采用prebuilt方式创建物化视图;
(4)对同步日志进行完全刷新;
(5)对所述同步日志进行增量刷新;
(6)创建可实现自动增量刷新的程序代码;
(7)按上述步骤(2)-(6)依次处理所有的大表;
(8)对采用insert/+append/into...from db_link处理的小表,整理好insertinto的脚本;
(9)运行所述的insert into脚本,对所述小表进行数据迁移;以及
(10)迁移切换。
更具体地,在进行迁移切换时,包括如下的一系列操作:停止源数据库的一切活动、等待最后一批日志完成增量刷新、运行小表脚本并insert into小表数据、等待所有的大表完成刷新、删除源表中的mvlog和目标表中的mv并保留目标表和数据、创建与目标表有依赖关系的对象(如自增长的序列)。
按照本发明的又一个方面,提供了一种使用创建触发器和创建过程相结合的方式(trigger+procedure)进行数据迁移的方法。该方法采用表对象作为数据迁移的单个对象,并要求该表对象有一个主键。首先利用触发器记录该表的DML(DataManipulation Language:数据操纵语言)日志,然后通过用户自定义的过程与该DML日志同步。鉴于该方法主要弥补了采用prebuilt mv方式进行数据迁移时难以刷新大表的缺点,下列步骤主要用来完全刷新大表:
(1)依照预定的容量大小对表对象进行分级,将超过所述预定容量的表对象作为大表,将低于所述预定容量的表对象作为小表;
(2)将所述大表作为源表,在所述源表上创建数据操纵语言的触发器;
(3)在目标数据库上创建与所述源表结构相同的目标表;
(4)所述触发器开始工作后,分批载入所述源表中的数据至所述目标数据库的所述目标表中;
(5)在所述目标数据库上创建用户自定义的过程;
(6)完全刷新由所述触发器产生的同步日志;
(7)对所述同步日志进行增量刷新;以及
(8)迁移切换。
更具体地,在进行迁移切换时,包括如下的一系列操作:通过用户自定义的过程完成日志的刷新、删除触发器与该过程以及调度的作业、完成目标表的同步刷新。
按照本发明的又一个方面,提供了一种创建触发器和自定义程序与使用sqlloader工具相结合(trigger+sqlloader+程序)进行数据迁移的方法。该方法主要利用文本文件或者进程通信进行中间转换,通过sqlloader载入数据,并依据数据库工程师自定义的程序分析同步日志。需要指出的是,利用sqlloader工具可以将一些以文本文件格式存放的数据顺利地导入到Oracle数据库中,是一种在不同数据库之间进行数据迁移非常便捷和常用的手段。该方法可通过下列的步骤进行数据迁移:
(1)依照预定的容量大小对表对象进行分级,将超过所述预定容量的表对象作为大表,将低于所述预定容量的表对象作为小表;
(2)将所述大表作为源表,在所述源表上创建数据操纵语言的触发器;
(3)在目标数据库上创建与所述源表结构相同的目标表;
(4)所述触发器开始工作后,分批载入所述源表中的数据至所述目标数据库的所述目标表中;
(5)在中间层利用两个进程分别连接不同字符集的数据库;
(6)完全刷新由所述触发器产生的同步日志;
(7)对所述同步日志进行增量刷新;以及
(8)迁移切换。
更具体地,步骤(1)中的小表载入包括两种方式:利用select或者程序生成文本文件,通过Sqlloader载入;直接生成insert into的脚本到文本文件,然后执行。
更具体地,步骤(6)中同步日志可采用两种方案,一是在源上根据日志直接生成DML语句,采用文本方式发送到目标执行;一是在中间层利用两个进程,分别连接不同字符集的数据库,其中的一个进程用于分析日志,另一个进程用于同步日志。
更具体地,步骤(8)中的迁移切换包括同步完最后的日志、停止同步程序。
采用本发明中基于Oracle数据库的prebuilt mv方式、trigger+Procedure方式和trigger+sqlloader+程序方式进行的迁移方法,均能实现跨平台和跨数据库版本的数据迁移,并可完成数据的重组优化,其中trigger+Sqlloader+程序方式还能实现跨字符集的数据迁移,极大了提高了数据迁移的效率,减少了停机切换时间。
附图说明
读者在参照附图阅读了本发明的具体实施方式以后,将会更清楚地了解本发明的各个方面。其中,
图1示出了现有技术中常用的几种数据迁移的方法;
图2示出了本发明中实现在线数据迁移的三种方式;
图3示出了本发明中基于prebuilt mv方式的在线数据迁移方法;
图4示出了本发明中基于trigger+procedure方式的在线数据迁移方法;而
图5示出了本发明中基于trigger+sqlloader+程序方式的在线数据迁移方法。
具体实施方式
下面参照附图,对本发明的具体实施方式作进一步的详细描述。
图1示出了现有技术中常用的几种数据迁移的方法,其中,可进行在线数据迁移的方式包括standby、stream和相关工具;需要较长的停机时间方可完成数据迁移的方式包括exp/imp或Oracle 10g版本下的expdp/impdp、采用指令insert/+append/into...from db_link+nologging的dblink方式和表空间传输。参照图1,上述几种常用的数据迁移方法按照是否支持在线迁移,可分为如下的流程进行:
(1)数据迁移准备100;
(2)是否在线迁移的判断102;
(3)若不进行在线迁移,则执行停机维护104;
(4)常用的迁移方式,如导出/导入,dblink,表空间传输等106;
(5)若进行在线迁移,则采用standby,stream与相关工具等108;
(6)迁移切换110;以及
(7)在执行完106或者110后,完成数据迁移112。
图2示出了本发明中实现在线数据迁移的三种方式,即,prebuilt mv方式、trigger+procedure方式、trigger+sqlloader+程序方式。上述三种方式都记录源表的DML操作日志,并通过完全刷新同步日志和增量刷新同步日志,以实现源数据库中不同容量的表对象的数据迁移。更具体地,prebuilt mv方式和trigger+procedure方式能够实现跨平台和跨版本的数据迁移,而trigger+sqlloader+程序方式不仅能实现跨平台和跨版本的数据迁移,而且还可利用文本文件或者进程间的通信来实现跨字符集的数据迁移。参考图2,本发明实现在线数据迁移的几种方法可有如下的流程来共同表示:
(1)数据迁移准备200;
(2)在线数据迁移202;
(3)基于Oracle数据库的跨平台、跨版本的数据迁移204;
(4)基于Oracle数据库的跨平台、跨版本、跨字符集的数据迁移206;
(5)若执行204的数据迁移,可采用prebuilt mv方式208或者采用trigger+procedure方式210;
(6)若执行206的数据迁移,可采用trigger+sqlloader+程序方式212;
(7)当执行208、210或者212的方法实现数据迁移时,记录日志214;
(8)完全刷新同步日志216;
(9)增量刷新同步日志218;
(10)迁移切换220;以及
(11)完成数据迁移222。
图3、图4和图5分别是上述三种数据迁移方式的具体实现流程,以下对其依次作以阐述。
图3示出了本发明中基于prebuilt mv方式的在线数据迁移方法。该方法将表对象作为数据迁移的单个对象,并通过下述的具体步骤来完成数据迁移:
(1)数据迁移准备300;
(2)将表对象作为迁移的单个对象302;
(3)表容量是否大于100M的判断304,按照容量大小对表对象进行分级,将100M以上容量的表对象称为大表,将100M以下容量的表对象称为小表;
(4)采用insert into方式迁移数据306;
(5)整理insert into的脚本308;
(6)运行insert into脚本,迁移小表中的数据310;
(7)在源数据库上创建mv日志,以记录源表的DML操作312,创建mv日志的指令为1:
create materialized view log on table_name;
(8)完全刷新同步日志314,其具体执行指令为:
exec dbms_mview.refresh(‘table_name’,method=>’Complete’);
(9)增量刷新同步日志316,其具体执行指令为:
exec dbms_mview.refresh(‘table_name’)
declare jobid number;
begin
  sys.dbms_job.submit(job=>jobid,
                      what=>’dbms_mview.refresh(“table_name”);’,
                      next_date=>sysdate,
                      interval=>’sysdate+1/1440’);
  commit;
end;
以及
(10)迁移切换318和完成数据迁移320。
其中步骤迁移切换318,它包括停止源数据库的一切活动、等待最后一批日志完成增量刷新、运行小表脚本并insert into小表数据、等待所有的大表完成刷新、删除源表中的mvlog和目标表中的mv并保留目标表和数据、创建与目标表有依赖关系的对象(如自增长的序列)。
图4示出了本发明中基于trigger+procedure方式的在线数据迁移方法。该方法采用触发器记录源表的DML日志,采用用户自定义的过程同步日志以完成数据迁移,当触发器与该自定义的过程结合使用时,用户可根据自己的需要在过程中写入自己的业务需求,也可将多个数据库中的表刷新到一个目标表中,数据迁移因而变得更为灵活。该方法可通过如下的具体步骤进行实现:
(1)数据迁移准备400;
(2)将表对象作为迁移的单个对象402;
(3)对表容量是否大于100M的判断404,按照容量大小对表对象进行分级,将100M以上容量的表对象称为大表,将100M以下容量的表对象称为小表;
(4)采用insert into方式迁移数据406;
(5)整理insert into的脚本408;
(6)运行insert into脚本,迁移小表中的数据410;
(7)在源数据库上创建日志表412,更具体地,日志表的创建可表示为:
create table REP_TABLE_LOGS
(
  REP_KEY     NUMBER not null,
  DML_TYPE    VARCHAR2(1)not null,
  DML_TIME    DATE default sysdate not null,
  REP_FLAG    NUMBER default 0 not null
);
(8)在源表上创建DML的触发器414;
(9)判断触发器是否开始工作416;
(10)批量载入源表的数据至目标数据库中418;
(11)在目标数据库上创建procedure,完全刷新触发器产生的同步日志420;
(12)增量刷新同步日志422;以及
(13)迁移切换424和完成数据迁移426。
图5示出了本发明中基于trigger+sqlloader+程序方式的在线数据迁移方法。该方法利用文本文件或者进程间的通信进行中间转换,以实现不同字符集的数据完成迁移。该迁移方法也可采用如下的步骤进行实施:
(1)数据迁移准备500;
(2)将表对象作为迁移的单个对象502;
(3)对表容量是否大于100M进行判断504,依照预定的容量大小对表对象进行分级,将超过所述预定容量的表对象作为大表,将低于所述预定容量的表对象作为小表;
(4)利用select或者是程序生成文本文件506;
(5)通过sqlloader载入数据508;
(6)创建自定义程序,起两个进程分别连接不同字符集的数据库510;
(7)在源数据库上创建日志表512;
(8)在源表上创建DML的触发器514;
(9)判断触发器是否开始工作516;
(10)批量载入源表的数据至目标数据库中518;
(11)在中间层利用两个进程,分别连接不同字符集的数据库,分析和同步日志520;
(12)增量刷新同步日志522;以及
(13)迁移切换524和完成数据迁移526。
更具体地,在步骤(3)中迁移小表中的数据采用两种方案,一是利用select或者是程序生成文本文件,并通过sqlloader工具载入数据;一是直接生成insertinto的脚本到文本文件并执行。
更具体地,在步骤(11)中同步日志还可利用另一种方案实现,即,在源数据库上根据日志,直接生成DML语句,并采用文本文件的方式发送到目标数据库执行。
上文中,参照附图描述了本发明的具体实施方式。但是,本领域中的普通技术人员能够理解,在不偏离本发明的精神和范围的情况下,还可以对本发明的具体实施方式作各种变更和替换。这些变更和替换都落在本发明权利要求书所限定的范围内。

Claims (17)

1. 一种基于Oracle数据库的在线数据迁移方法,其特征在于,该方法采用下列步骤实现:
(1)依照预定的容量大小对表对象进行分级,将超过所述预定容量的表对象作为大表,将低于所述预定容量的表对象作为小表;
(2)将所述大表作为源表,在源数据库上创建物化视图日志;
(3)在目标数据库上创建与所述源表的结构相同的目标表,并在所述目标表上采用prebuilt方式创建物化视图;
(4)对同步日志进行完全刷新;
(5)对所述同步日志进行增量刷新;
(6)创建可实现自动增量刷新的程序代码;
(7)按上述步骤(2)-(6)依次处理所有的大表;
(8)对采用insert/*+append*/into...from db_link处理的小表,整理好insertinto的脚本;
(9)运行所述的insert into脚本,对所述小表进行数据迁移;以及
(10)迁移切换。
2. 如权利要求1所述的方法,其特征在于,在执行步骤(3)时,所述源表的结构在所述日志创建完成之后且在迁移数据的复制完成之前保持不变。
3. 如权利要求1所述的方法,其特征在于,所述完全刷新仅在第一次同步所述日志时执行。
4. 一种基于Oracle数据库的在线数据迁移方法,其特征在于,该方法采用下列步骤实现:
(1)依照预定的容量大小对表对象进行分级,将超过所述预定容量的表对象作为大表,将低于所述预定容量的表对象作为小表;
(2)将所述大表作为源表,在所述源表上创建数据操纵语言的触发器;
(3)在目标数据库上创建与所述源表结构相同的目标表;
(4)所述触发器开始工作后,分批载入所述源表中的数据至所述目标数据库的所述目标表中;
(5)在所述目标数据库上创建用户自定义的过程;
(6)完全刷新由所述触发器产生的同步日志;
(7)对所述同步日志进行增量刷新;以及
(8)迁移切换。
5. 如权利要求4所述的方法,其特征在于,在执行步骤(1)时,对低于所述预定容量的表对象,采用insert/*+append*/into...from db_link进行数据迁移。
6. 如权利要求4所述的方法,其特征在于,所述日志的REP_KEY用于存放所述源表的主键,字段类型取决于所述源表的字段类型。
7. 如权利要求4所述的方法,其特征在于,在执行步骤(3)时,所述源表的结构在所述触发器创建完成之后且在迁移数据的复制完成之前保持不变。
8. 如权利要求4所述的方法,其特征在于,所述触发器可以记录所述源表的数据操纵语言的操作日志。
9. 如权利要求4所述的方法,其特征在于,创建所述用户自定义的过程可以同步由所述触发器产生的所述数据操纵语言的操作日志。
10. 一种基于Oracle数据库的在线数据迁移方法,其特征在于,该方法采用下列步骤实现:
(1)依照预定的容量大小对表对象进行分级,将超过所述预定容量的表对象作为大表,将低于所述预定容量的表对象作为小表;
(2)将所述大表作为源表,在所述源表上创建数据操纵语言的触发器;
(3)在目标数据库上创建与所述源表结构相同的目标表;
(4)所述触发器开始工作后,分批载入所述源表中的数据至所述目标数据库的所述目标表中;
(5)在中间层利用两个进程分别连接不同字符集的数据库;
(6)完全刷新由所述触发器产生的同步日志;
(7)对所述同步日志进行增量刷新;以及
(8)迁移切换。
11. 如权利要求10所述的方法,其特征在于,在执行步骤(1)时,对小于所述预定容量的表对象,利用select指令或者程序代码生成文本文件,通过Sql*loader载入。
12. 如权利要求10所述的方法,其特征在于,在执行步骤(1)时,对小于所述预定容量的表对象,直接生成insert into的脚本到文本文件并予以执行。
13. 如权利要求11或12所述的方法,其特征在于,利用用户自定义的程序,创建两个进程,并将所述两个进程分别连接至不同字符集的数据库,以进行跨字符集的数据迁移。
14. 如权利要求10所述的方法,其特征在于,所述触发器可以记录所述源表的数据操纵语言操作日志。
15. 如权利要求10所述的方法,其特征在于,步骤(5)中所述两个进程包括第一进程和第二进程,所述第一进程用于分析日志,所述第二进程用于同步日志。
16. 一种采用如权利要求1、4、10中的任一权利要求所述迁移方法的在线数据迁移***。
17. 一种采用如权利要求1、4和10中的任一权利要求所述方法在数据库之间进行数据同步复制的方法。
CN2007100886811A 2007-03-15 2007-03-15 一种基于Oracle数据库的在线数据迁移方法 Expired - Fee Related CN101266606B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN2007100886811A CN101266606B (zh) 2007-03-15 2007-03-15 一种基于Oracle数据库的在线数据迁移方法
HK08113829.2A HK1120887A1 (en) 2007-03-15 2008-12-19 Method for on-line data migration based on oracle database

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2007100886811A CN101266606B (zh) 2007-03-15 2007-03-15 一种基于Oracle数据库的在线数据迁移方法

Publications (2)

Publication Number Publication Date
CN101266606A true CN101266606A (zh) 2008-09-17
CN101266606B CN101266606B (zh) 2012-06-20

Family

ID=39989029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007100886811A Expired - Fee Related CN101266606B (zh) 2007-03-15 2007-03-15 一种基于Oracle数据库的在线数据迁移方法

Country Status (2)

Country Link
CN (1) CN101266606B (zh)
HK (1) HK1120887A1 (zh)

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101674495A (zh) * 2009-10-20 2010-03-17 中兴通讯股份有限公司 数据容灾预处理方法及装置
CN102043801A (zh) * 2009-10-16 2011-05-04 无锡华润上华半导体有限公司 数据库间的数据交互方法、***及发送方数据库、接收方数据库
CN101382949B (zh) * 2008-10-28 2011-09-07 阿里巴巴集团控股有限公司 一种数据库表的管理方法及装置
CN101706803B (zh) * 2009-11-27 2012-07-04 天津工业大学 一种织造车间生产数据的迁移方法
WO2012136040A1 (zh) * 2011-04-08 2012-10-11 中兴通讯股份有限公司 基于业务数据库的营销分析方法及***
EP2602727A1 (en) 2011-12-06 2013-06-12 Krea Icerik Hizmetleri Ve Produksiyon Anonim Sirketi Method and system of rapid data transfer from source database to destination database
CN103455557A (zh) * 2013-08-08 2013-12-18 上海新炬网络技术有限公司 一种基于日志的结构化数据同步方法
CN103514180A (zh) * 2012-06-21 2014-01-15 中兴通讯股份有限公司 数据提供方法及装置
CN103559272A (zh) * 2013-11-05 2014-02-05 北京国双科技有限公司 向维度表里导入数据的方法和装置
CN103914458A (zh) * 2012-12-29 2014-07-09 ***通信集团河北有限公司 一种海量数据迁移的方法及装置
CN104462344A (zh) * 2014-12-04 2015-03-25 北京国双科技有限公司 在目标服务器构建etl***的处理方法及装置
CN104536994A (zh) * 2014-12-11 2015-04-22 北京京东尚科信息技术有限公司 通用的数据迁移方法和装置
CN104573056A (zh) * 2015-01-22 2015-04-29 浪潮电子信息产业股份有限公司 一种基于oracle数据库大数据量在线迁移的方法
CN104573122A (zh) * 2015-02-09 2015-04-29 浪潮电子信息产业股份有限公司 一种从AIX平台向K-UX平台迁移的Oracle数据库迁移工具
CN105393250A (zh) * 2013-07-09 2016-03-09 甲骨文国际公司 动态迁移脚本的管理
GB2533086A (en) * 2014-12-08 2016-06-15 Ibm Controlling a multi-database system
CN105868204A (zh) * 2015-01-21 2016-08-17 ***(深圳)有限公司 一种转换Oracle脚本语言SQL的方法及装置
CN106095969A (zh) * 2016-06-17 2016-11-09 浪潮(北京)电子信息产业有限公司 一种数据同步的方法、装置、***及数据库
CN106776688A (zh) * 2016-11-10 2017-05-31 国云科技股份有限公司 一种Oracle数据库跨平台物理迁移***实现方法
CN107247727A (zh) * 2017-04-28 2017-10-13 北京五八信息技术有限公司 数据迁移方法及设备
WO2017193739A1 (zh) * 2016-05-10 2017-11-16 中兴通讯股份有限公司 一种数据共享方法及装置
CN107992512A (zh) * 2017-10-20 2018-05-04 中国建设银行股份有限公司上海市分行 一种数据迁移的方法、***及计算机可读存储介质
CN108897773A (zh) * 2018-05-31 2018-11-27 湖南格凡安信科技有限公司 一种透明在线式数据库匿名化数据并行迁移方法
CN109165260A (zh) * 2018-09-25 2019-01-08 安徽信息工程学院 基于oracle数据库链的数据转储方法
CN109189761A (zh) * 2018-08-31 2019-01-11 中国农业银行股份有限公司 一种数据迁移方法和装置
CN109284281A (zh) * 2018-09-10 2019-01-29 北京百度网讯科技有限公司 用于迁移数据的方法和装置
CN110647421A (zh) * 2018-06-27 2020-01-03 阿里巴巴集团控股有限公司 数据库处理方法、装置、***以及电子设备
US10540335B2 (en) 2013-07-09 2020-01-21 Oracle International Corporation Solution to generate a scriptset for an automated database migration
US10691654B2 (en) 2013-07-09 2020-06-23 Oracle International Corporation Automated database migration architecture
US10776244B2 (en) 2013-07-09 2020-09-15 Oracle International Corporation Consolidation planning services for systems migration
US11036696B2 (en) 2016-06-07 2021-06-15 Oracle International Corporation Resource allocation for database provisioning
CN113297182A (zh) * 2021-06-16 2021-08-24 中国农业银行股份有限公司 数据迁移方法、设备、存储介质及程序产品
US11157664B2 (en) 2013-07-09 2021-10-26 Oracle International Corporation Database modeling and analysis
US11256671B2 (en) 2019-09-13 2022-02-22 Oracle International Corporation Integrated transition control center

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1477546A (zh) * 2002-08-19 2004-02-25 万达信息股份有限公司 一种在两个数据库间进行相同数据表数据复制的方法

Cited By (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101382949B (zh) * 2008-10-28 2011-09-07 阿里巴巴集团控股有限公司 一种数据库表的管理方法及装置
CN102043801A (zh) * 2009-10-16 2011-05-04 无锡华润上华半导体有限公司 数据库间的数据交互方法、***及发送方数据库、接收方数据库
CN101674495A (zh) * 2009-10-20 2010-03-17 中兴通讯股份有限公司 数据容灾预处理方法及装置
WO2010145414A1 (zh) * 2009-10-20 2010-12-23 中兴通讯股份有限公司 数据容灾预处理方法及装置、scp
EP2493083A4 (en) * 2009-10-20 2015-07-29 Zte Corp PROCESS, DEVICE AND SERVICE CONTROL POINT (SCP) FOR PREPARING DATA CATHOLIC TOLERANCE
CN101674495B (zh) * 2009-10-20 2015-06-03 中兴通讯股份有限公司 数据容灾预处理方法及装置
US8676754B2 (en) 2009-10-20 2014-03-18 Zte Corporation Method and apparatus for data disaster tolerance preprocessing, and service control point
CN101706803B (zh) * 2009-11-27 2012-07-04 天津工业大学 一种织造车间生产数据的迁移方法
WO2012136040A1 (zh) * 2011-04-08 2012-10-11 中兴通讯股份有限公司 基于业务数据库的营销分析方法及***
EP2602727A1 (en) 2011-12-06 2013-06-12 Krea Icerik Hizmetleri Ve Produksiyon Anonim Sirketi Method and system of rapid data transfer from source database to destination database
CN103514180A (zh) * 2012-06-21 2014-01-15 中兴通讯股份有限公司 数据提供方法及装置
CN103914458A (zh) * 2012-12-29 2014-07-09 ***通信集团河北有限公司 一种海量数据迁移的方法及装置
CN105393250A (zh) * 2013-07-09 2016-03-09 甲骨文国际公司 动态迁移脚本的管理
US10776244B2 (en) 2013-07-09 2020-09-15 Oracle International Corporation Consolidation planning services for systems migration
US10248671B2 (en) 2013-07-09 2019-04-02 Oracle International Corporation Dynamic migration script management
US11157664B2 (en) 2013-07-09 2021-10-26 Oracle International Corporation Database modeling and analysis
CN105393250B (zh) * 2013-07-09 2019-07-26 甲骨文国际公司 动态迁移脚本的管理
US10540335B2 (en) 2013-07-09 2020-01-21 Oracle International Corporation Solution to generate a scriptset for an automated database migration
US10691654B2 (en) 2013-07-09 2020-06-23 Oracle International Corporation Automated database migration architecture
CN103455557A (zh) * 2013-08-08 2013-12-18 上海新炬网络技术有限公司 一种基于日志的结构化数据同步方法
CN103455557B (zh) * 2013-08-08 2016-06-29 上海新炬网络技术有限公司 一种基于日志的结构化数据同步方法
CN103559272A (zh) * 2013-11-05 2014-02-05 北京国双科技有限公司 向维度表里导入数据的方法和装置
CN104462344B (zh) * 2014-12-04 2018-04-03 北京国双科技有限公司 在目标服务器构建etl***的处理方法及装置
CN104462344A (zh) * 2014-12-04 2015-03-25 北京国双科技有限公司 在目标服务器构建etl***的处理方法及装置
GB2533086A (en) * 2014-12-08 2016-06-15 Ibm Controlling a multi-database system
US10552451B2 (en) 2014-12-08 2020-02-04 International Business Machines Corporation Controlling a multi-database system
US11176171B2 (en) 2014-12-08 2021-11-16 International Business Machines Corporation Controlling a multi-database system
CN104536994A (zh) * 2014-12-11 2015-04-22 北京京东尚科信息技术有限公司 通用的数据迁移方法和装置
CN105868204B (zh) * 2015-01-21 2019-06-21 中移信息技术有限公司 一种转换Oracle脚本语言SQL的方法及装置
CN105868204A (zh) * 2015-01-21 2016-08-17 ***(深圳)有限公司 一种转换Oracle脚本语言SQL的方法及装置
CN104573056A (zh) * 2015-01-22 2015-04-29 浪潮电子信息产业股份有限公司 一种基于oracle数据库大数据量在线迁移的方法
CN104573122A (zh) * 2015-02-09 2015-04-29 浪潮电子信息产业股份有限公司 一种从AIX平台向K-UX平台迁移的Oracle数据库迁移工具
CN104573122B (zh) * 2015-02-09 2017-10-13 浪潮电子信息产业股份有限公司 一种从AIX平台向K‑UX平台迁移的Oracle数据库迁移工具
WO2017193739A1 (zh) * 2016-05-10 2017-11-16 中兴通讯股份有限公司 一种数据共享方法及装置
CN107357791A (zh) * 2016-05-10 2017-11-17 中兴通讯股份有限公司 一种数据共享方法及装置
CN107357791B (zh) * 2016-05-10 2021-10-15 中兴通讯股份有限公司 一种数据共享方法及装置
US11036696B2 (en) 2016-06-07 2021-06-15 Oracle International Corporation Resource allocation for database provisioning
CN106095969A (zh) * 2016-06-17 2016-11-09 浪潮(北京)电子信息产业有限公司 一种数据同步的方法、装置、***及数据库
CN106776688A (zh) * 2016-11-10 2017-05-31 国云科技股份有限公司 一种Oracle数据库跨平台物理迁移***实现方法
CN107247727A (zh) * 2017-04-28 2017-10-13 北京五八信息技术有限公司 数据迁移方法及设备
CN107992512A (zh) * 2017-10-20 2018-05-04 中国建设银行股份有限公司上海市分行 一种数据迁移的方法、***及计算机可读存储介质
CN108897773B (zh) * 2018-05-31 2019-12-27 湖南格凡安信科技有限公司 一种透明在线式数据库匿名化数据并行迁移方法
CN108897773A (zh) * 2018-05-31 2018-11-27 湖南格凡安信科技有限公司 一种透明在线式数据库匿名化数据并行迁移方法
CN110647421A (zh) * 2018-06-27 2020-01-03 阿里巴巴集团控股有限公司 数据库处理方法、装置、***以及电子设备
CN110647421B (zh) * 2018-06-27 2022-11-25 阿里巴巴集团控股有限公司 数据库处理方法、装置、***以及电子设备
CN109189761A (zh) * 2018-08-31 2019-01-11 中国农业银行股份有限公司 一种数据迁移方法和装置
CN109284281A (zh) * 2018-09-10 2019-01-29 北京百度网讯科技有限公司 用于迁移数据的方法和装置
CN109165260A (zh) * 2018-09-25 2019-01-08 安徽信息工程学院 基于oracle数据库链的数据转储方法
US11256671B2 (en) 2019-09-13 2022-02-22 Oracle International Corporation Integrated transition control center
US11822526B2 (en) 2019-09-13 2023-11-21 Oracle International Corporation Integrated transition control center
CN113297182A (zh) * 2021-06-16 2021-08-24 中国农业银行股份有限公司 数据迁移方法、设备、存储介质及程序产品
CN113297182B (zh) * 2021-06-16 2024-01-30 中国农业银行股份有限公司 数据迁移方法、设备、存储介质及程序产品

Also Published As

Publication number Publication date
HK1120887A1 (en) 2009-04-09
CN101266606B (zh) 2012-06-20

Similar Documents

Publication Publication Date Title
CN101266606A (zh) 一种基于Oracle数据库的在线数据迁移方法
US7953891B2 (en) Systems and methods for scheduling data flow execution based on an arbitrary graph describing the desired data flow
CN102508706B (zh) 一种多源数据集成平台及其构建方法
Bénichou et al. Experiments in mixed-integer linear programming
DeWitt et al. Parallel database systems: The future of database processing or a passing fad?
US5701471A (en) System and method for testing multiple database management systems
CN109656911A (zh) 分布式并行处理数据库***及其数据处理方法
US8996458B2 (en) High volume, high speed adaptive data replication
US20050278152A1 (en) Systems and methods for distributing a workplan for data flow execution based on an arbitrary graph describing the desired data flow
US20080140627A1 (en) Method and apparatus for aggregating database runtime information and analyzing application performance
Sreemathy et al. Data integration in ETL using TALEND
CN101329676B (zh) 一种数据并行抽取方法、装置和数据库***
RU2012157753A (ru) Способ, осуществляемый с помощью компьютера, носитель и система для интегрирования транзакций с последовательностями выполняемых действий и баз данных
KR101099227B1 (ko) 복제 명령들을 서브스크라이버들에게 분배하는 컴퓨팅 시스템, 컴퓨터화된 방법 및 컴퓨터 판독가능 기록 매체
CN103914458A (zh) 一种海量数据迁移的方法及装置
CN102306200A (zh) 增量数据操作语句的并发应用装置和方法
Wang et al. Scalable data cube analysis over big data
Cai et al. Fusion insight librA: huawei's enterprise cloud data analytics platform
CN100501737C (zh) 用于内容受管制的数据的数据库方案及其创建方法和***
CN113961546A (zh) 一种支持在线分析统计的实时查询库设计方法
EP2722774A1 (en) Long term archiving of data in a MES system
Zhou et al. An ETL strategy for real-time data warehouse
Bagade et al. Designing performance monitoring tool for NoSQL Cassandra distributed database
Li et al. Hadoop-Based University Ideological and Political Big Data Platform Design and Behavior Pattern Mining
CN107622059A (zh) 一种提高数据库搜索效率的方法和***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1120887

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1120887

Country of ref document: HK

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200424

Address after: Building 8, No. 16, Zhuantang science and technology economic block, Xihu District, Hangzhou City, Zhejiang Province

Patentee after: ALIYUN COMPUTING Co.,Ltd.

Address before: English genus

Patentee before: Alibaba Group Holding Ltd.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120620