CN103617176A - 一种实现多源异构数据资源自动同步的方法 - Google Patents

一种实现多源异构数据资源自动同步的方法 Download PDF

Info

Publication number
CN103617176A
CN103617176A CN201310539536.6A CN201310539536A CN103617176A CN 103617176 A CN103617176 A CN 103617176A CN 201310539536 A CN201310539536 A CN 201310539536A CN 103617176 A CN103617176 A CN 103617176A
Authority
CN
China
Prior art keywords
database
data
synchronous
source
renovator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310539536.6A
Other languages
English (en)
Other versions
CN103617176B (zh
Inventor
许丞
谢毅
刘祥涛
岳强
季统凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Computing Technology of CAS
Original Assignee
Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Computing Technology of CAS filed Critical Institute of Computing Technology of CAS
Priority to CN201310539536.6A priority Critical patent/CN103617176B/zh
Priority to US14/402,106 priority patent/US20180081956A1/en
Priority to PCT/CN2014/071941 priority patent/WO2015062181A1/zh
Publication of CN103617176A publication Critical patent/CN103617176A/zh
Application granted granted Critical
Publication of CN103617176B publication Critical patent/CN103617176B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2358—Change logging, detection, and notification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/275—Synchronous replication

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Stored Programmes (AREA)
  • Multi Processors (AREA)

Abstract

本发明涉及一种实现多源异构数据资源自动同步的方法。本发明涉及元数据服务节点、服务节点及生产节点；元数据服务节点负责存储分布式异构数据库***中的数据字典；服务节点负责解析异构数据库***中用户的请求，定期与生产节点上的数据库进行同步；生产节点负责相应生产应用***中的查询、更新等请求；其中，服务节点由配置识别器、日志解析器和数据同步器构成；配置识别器用于分析生产节点上源数据库配置，选择可行的同步方式；日志解析器用于解析不同数据库***的日志，是增量同步方式的前期准备工作部件；数据同步器根据配置识别器的同步方式，进行数据同步。本发明实现了多源异构数据资源的自动同步；可用于数据资源处理中。

Description

一种实现多源异构数据资源自动同步的方法
技术领域
本发明涉及计算机应用技术领域，特别涉及一种实现多源异构数据资源自动同步的方法。
背景技术
在大数据时代，存储、组织数据是上层应用服务的基础。通过分布式异构数据库***，不同的数据源可以整合为逻辑上统一的数据源，为上层应用服务提供数据访问接口。而分布式异构数据库***不能对生产节点产生影响，所以只能将生产***作为异构数据库***的数据源，即将生产节点上的数据同步到前置机上，作为异构数据库***中的数据操作对象。前置机节点与生产节点上的数据需要定期更新，为上层应用服务提供有效的数据源。
不同的数据库***之间采用的数据同步与备份技术有较大差异，且需要用户具备一定的背景知识，正确配置相关参数，才可以实施数据同步技术。这种实施方式受到用户水平、数据库***差异的限制，使数据同步过程难以实现自动化。因此，针对生产节点与前置机节点之间的数据同步问题，设计一种自动化的数据同步机制，是解决此类问题的关键之一。
从技术方法层面，主要有两种思路实现数据同步，实现生产节点与前置机节点之间的数据同步。
思路一是针对生产节点上的数据库，分析其日志文件，从中提取出DDL与DML语句，并将这些语句传送到前置机节点上。前置机节点根据DDL与DML语句，进行增量同步。这种机制可以实现生产节点与前置机节点之间的快速的数据同步。但是，该机制存在一些问题：(1)需要生产节点开启数据库的日志功能，并正确配置相关参数，否则不能进行增量同步；(2)数据库***一般只提供了日志文件的解析接口，而没有提供完整的增量同步功能；(3)不同数据库***之间的日志记录方式不同，解析日志需要用户具备一定的相关知识，这些因素都限制了增量同步的使用范围。
思路二是在生产节点与前置机节点之间进行全量同步。每次同步，生产节点上的数据库都会将所有数据同步到前置机节点中。这种同步方式对***的资源消耗较大，而且部分数据库没有提供完整的数据迁移工具，无法实现同步自动化。
发明内容
本发明解决的技术问题在于提供一种实现多源异构数据资源自动同步的方法；构建在生产节点与前置机节点之间，实现数据的同步。
本发明解决上述技术问题的技术方案是：
首先，元数据服务节点向前置机节点发出同步更新请求，前置机节点接受请求，并从中解析出相关参数：数据库地址、数据库名、用户名、密码等；
解析出的参数传递给配置分析器，配置分析器连接源数据库，读取源数据库的日志配置信息，根据数据库的类型及配置信息，判断是否可以采用增量同步方式；
如果增量同步方式可行，日志解析器将首先根据数据库类型，初始化解析环境，然后启用一个线程，从数据库中读取日志文件中记录的DDL和DML语句，并保存在本地的缓存中；接着，同步更新器再启用另外一个线程，从缓存中依次取出DML或DDL语句，更新前置机节点上的数据库；
如果源数据库需要采用全量同步更新方式，同步更新器根据数据库类型，使用现有的数据同步或备份工具，构造出一个自动化的数据同步脚本文件；然后，同步更新器将创建一个新的进程运行脚本，进行数据同步；
同步完成后，同步更新器将更新元数据节点中的同步状态信息，报告同步过程已完成。
生产节点与前置机节点是分布式异构数据库***中的组件；其中，生产节点是指已部署的生产***中的提供数据源的节点；前置机节点是指在分布式异构数据库中提供数据源的节点。
所述的配置分析器、日志解析器、同步更新器设置在前置机节点上。
所述的配置分析器需要对每种数据库的配置信息进行识别，具体如下：
对于MySQL数据库，查看数据库是否开启二进制日志功能，如果数据库***没有开启二进制日志功能，则使用全量同步模式；如果二进制日志功能开启，则判定需要采用增量同步模式；
对于Oracle、DB2数据库，查看数据库***是否开启归档日志模式，如果开启，则判定可采用增量同步模式，否则判定需要采用全量同步模式；
对于SQL Server数据库，查看日志模式是否为完全日志工作模式，如果是，则可采用增量同步模式，否则判定需要采用全量同步模式。
当源数据库可以进行增量同步更新时，日志解析器首先获取指定时间段内的所有日志文件，并根据数据库类型，解析日志文件内容，获取DDL与DML语句；同时，针对每种数据库，日志解析器将采用不同的方式解析日志文件内容，具体如下：
对于MySQL数据库，通过调用内置的mysqlbinlog工具，查询日志内容，获取相应的DDL与DML语句；
对于Oracle数据库，通过使用LogMiner工具，解析归档日志的内容；首先调用内置的存储过程sys.DBMS._LOGMNR_D.BUILD从redo日志中获取LogMiner所需的数据字典；然后，添加需要解析的日志文件，并进行解析；最后，查看解析结果视图，获取DDL与DML操作语句；
对于DB2数据库，首先通过调用数据库***内置的API接口--db2ReadLogNoConn，初始化解析环境；然后，调用db2ReadLog接口，逐条解析日志记录，获取DDL与DML语句；
对于SQL Server数据库，利用fn_dblog，读取SQL Server日志，并根据SQLServer二进制日志文件格式，逐条进行解析，获取DDL与DML语句。
当确定同步方式后，同步更新器根据选择的同步方式，更新前置机节点上的数据库；如果采用增量同步更新方式，同步更新器将启用一个线程获取DDL与DML语句，并保存在本地的缓存中；同时，它将启动另外一个线程，依次执行DDL与DML语句，更新本地服务器内容；如果是全量更新方式，同步更新器将开启一个新线程，并创建一个新的数据同步脚本，调用***的进程创建对象ProcessBuilder执行同步脚本，并重定向错误输出流到输入流中，获取同步进度信息，具体如下：
对于Oracle、MySQL数据库，同步更新器使用数据库***提供的dump及load工具，将源数据库的内容复制到目标数据库的服务器上，再利用load工具，载入数据；
对于DB2数据库，首先利用DB2内置的命令，编目源数据；然后，利用db2look工具，获取源数据库所有表的名称；接着，查看源数据库的编码方式，利用export工具，以ixf格式逐表将源数据库中的数据导出；最后，利用load工具，将数据载入到本地数据库中。
本发明的有益效果有：
(1)能自动识别数据库类型并判断配置，实现自动数据库同步：***通过分析需要同步的源数据库的配置参数，选择合理的同步方案，封装多种数据库在实施数据同步过程中的细节，为上层应用***提供了统一接口，降低了用户的配置难度。同时，***集成现有数据库同步工具，构造自动化的数据同步方案，从而实现自动数据库同步。
(2)降低数据库同步的复杂度，改善用户体验，本发明提出的数据同步机制是针对多种数据库实施的，通过封装同步过程中的细节，降低数据同步的复杂度，改善用户体验，满足自动化同步的需求。
(3)提供了集成数据同步接口，能对多类型数据库进行同步：本方案通过集成的方式，可以做到支持多种数据库***的数据同步功能，提高了数据同步方案的使用范围。同时，本发明提供的自动化数据同步方案，通过集成日志分析、数据迁移等工具，提供了一套自动化的数据同步方案。通过封装数据同步过程中具体细节，为上层应用接口提供统一的数据同步设置工具，屏蔽底层数据同步技术之间的差异。
附图说明
下面结合附图对本发明进一步说明：
图1是本发明***构件组成图。
图2是本发明执行流程图。
具体实施方式
由于历史因素等原因，信息***在构建过程中，往往会采用多种数据库。不同的数据库之间数据不能直接被上层应用***共享，造成了“信息孤岛”现象。分布式异构数据库***通过中间数据引擎，缓冲不同数据库的查询结果，为上层***提供统一的数据访问接口，屏蔽了底层的数据查询细节。本发明所述的生产节点与前置机节点是分布式异构数据库***中的组件。其中，生产节点是指已部署的生产***中的提供数据源的节点；前置机节点是指在分布式异构数据库中提供数据源的节点，定期与生产节点进行数据同步，使前置机节点与生产节点的数据保持一致。
本发明是一种构建在生产节点与前置机节点之间的数据同步方法。当用户设定同步参数后，元数据服务节点向生产节点发起数据同步请求。前置机节点从请求中取出相关参数，并对生产节点上的数据库配置进行分析。根据分析的结果，前置机节点选择增量同步或全量同步的方式，将生产节点中的数据同步到前置机节点上。在整个数据同步的过程中，用户只需要提供数据库名字、数据库地址、用户及密码等基本信息，即可在生产节点与前置机节点之间定期进行数据同步。相对现有的数据同步技术，本发明封装了多种数据库***的数据同步过程中的细节问题，并且可以自动选择适宜的同步方式进行数据同步。
为实现上述目的，一种自动化的数据同步机制，由三个关键部件构成：配置分析器、日志解析器、同步更新器。
配置分析器：连接生产节点上的数据库，读取相关配置，分析数据库能否采用增量同步的模式。
日志解析器：日志解析器读取生产节点上的数据库日志文件，并进行解析，获得DML与DDL操作语句。前置机节点通过网络将解析结果从生产节点上拉过来，保存在本地的缓存中。
同步更新器：当配置分析器完成数据库配置分析后，同步更新器根据分析结果进行数据同步。当配置分析器确定生产节点上的数据库可采用增量同步时，同步更新器调用日志解析器，获取缓存中的DDL和DML语句，更新前置机节点上的数据库内容；如果配置分析器确定生产数据库需要采用全量同步，同步更新器通过调用数据库内置的数据迁移或备份工具，将数据从生产节点拉至前置机节点，更新前置机节点上的数据库内容。
具体如附图所示，首先，元数据服务节点向前置机节点发出同步更新请求，前置机节点接受请求，并从中解析出相关参数：数据库地址、数据库名、用户名、密码等。解析出的参数传递给配置分析器，配置分析器连接源数据库，读取源数据库的日志配置信息，根据数据库的类型及配置信息，判断是否可以采用增量同步方式。如果增量同步方式可行，日志解析器将首先根据数据库类型，初始化解析环境，然后启用一个线程，从数据库中读取日志文件中记录的DDL和DML语句，并保存在本地的缓存中。接着，同步更新器再启用另外一个线程，从缓存中依次取出DML或DDL语句，更新前置机节点上的数据库。如果源数据库需要采用全量同步更新方式，同步更新器根据数据库类型，使用现有的数据同步或备份工具，构造出一个自动化的数据同步脚本文件；然后，同步更新器将创建一个新的进程运行脚本，进行数据同步。同步完成后，同步更新器将更新元数据节点中的同步状态信息，报告同步过程已完成。
由于本发明需要实现多种数据库的数据同步过程。因此，配置识别器需要对每种的数据库的配置信息进行识别，具体方案如下：
对于MySQL数据库，查看数据库是否开启二进制日志功能，如果数据库***没有开启二进制日志功能，则使用全量同步模式；如果二进制日志功能开启，则判定需要采用增量同步模式。
对于Oracle、DB2数据库，查看数据库***是否开启归档日志模式，如果开启，则判定可采用增量同步模式，否则判定需要采用全量同步模式
对于SQL Server数据库，查看日志模式是否为完全日志工作模式，如果是，则可采用增量同步模式，否则判定需要采用全量同步模式
日志解析器：当源数据库可以进行增量同步更新时，日志解析器首先获取指定时间段内的所有日志文件，并根据数据库类型，解析日志文件内容，获取DDL与DML语句。由于分布式异构数据库***的是建立在虚拟表的概念上，因此日志解析器将只获取针对表操作的DDL和DML语句。同时，针对每种数据库，日志解析器将采用不同的方式解析日志文件内容，具体方案如下：
对于MySQL数据库，通过调用内置的mysqlbinlog工具，查询日志内容，获取相应的DDL与DML语句
对于Oracle数据库，通过使用LogMiner工具，解析归档日志的内容。首先调用内置的存储过程sys.DBMS._LOGMNR_D.BUILD从redo日志中获取LogMiner所需的数据字典。然后，日志解析器添加需要解析的日志文件，并进行解析。最后，查看解析结果视图，获取DDL与DML操作语句。
对于DB2数据库，首先通过调用数据库***内置的API接口--db2ReadLogNoConn，初始化解析环境。然后，调用db2ReadLog接口，逐条解析日志记录，获取DDL与DML语句
对于SQL Server数据库，利用fn_dblog，读取SQL Server日志，并根据SQLServer二进制日志文件格式，逐条进行解析，获取DDL与DML语句。
同步更新器：当确定同步方式后，同步更新器根据选择的同步方式，更新前置机节点上的数据库。如果采用增量同步更新方式，同步更新器将启用一个线程获取DDL与DML语句，并保存在本地的缓存中；同时，它将启动另外一个线程，依次执行DDL与DML语句，更新本地服务器内容。如果是全量更新方式，同步更新器将开启一个新线程，并创建一个新的数据同步脚本，调用***的进程创建对象ProcessBuilder执行同步脚本，并重定向错误输出流到输入流中，获取同步进度信息，具体方案如下：
1.对于Oracle、MySQL数据库，同步更新器使用数据库***提供的dump及load工具，将源数据库的内容复制到目标数据库的服务器上，再利用load工具，载入数据。
2.对于DB2数据库，首先利用DB2内置的命令，编目源数据；然后，利用db2look工具，获取源数据库所有表的名称；接着，查看源数据库的编码方式，利用export工具，以ixf格式逐表将源数据库中的数据导出；最后，利用load工具，将数据载入到本地数据库中。

Claims (10)

1.一种实现多源异构数据资源自动同步的方法，其特征在于：
首先，元数据服务节点向前置机节点发出同步更新请求，前置机节点接受请求，并从中解析出相关参数：数据库地址、数据库名、用户名、密码等；
解析出的参数传递给配置分析器，配置分析器连接源数据库，读取源数据库的日志配置信息，根据数据库的类型及配置信息，判断是否可以采用增量同步方式；
如果增量同步方式可行，日志解析器将首先根据数据库类型，初始化解析环境，然后启用一个线程，从数据库中读取日志文件中记录的DDL和DML语句，并保存在本地的缓存中；接着，同步更新器再启用另外一个线程，从缓存中依次取出DML或DDL语句，更新前置机节点上的数据库；
如果源数据库需要采用全量同步更新方式，同步更新器根据数据库类型，使用现有的数据同步或备份工具，构造出一个自动化的数据同步脚本文件；然后，同步更新器将创建一个新的进程运行脚本，进行数据同步；
同步完成后，同步更新器将更新元数据节点中的同步状态信息，报告同步过程已完成。
2.根据权利要求1所述的实现多源异构数据资源自动同步的方法，其特征在于：生产节点与前置机节点是分布式异构数据库***中的组件；其中，生产节点是指已部署的生产***中的提供数据源的节点；前置机节点是指在分布式异构数据库中提供数据源的节点。
3.根据权利要求1所述的实现多源异构数据资源自动同步的方法，其特征在于：所述的配置分析器、日志解析器、同步更新器设置在前置机节点上。
4.根据权利要求2所述的实现多源异构数据资源自动同步的方法，其特征在于：所述的配置分析器、日志解析器、同步更新器设置在前置机节点上。
5.根据权利要求1至4任一项所述的实现多源异构数据资源自动同步的方法，其特征在于：所述的配置分析器需要对每种数据库的配置信息进行识别，具体如下：
对于MySQL数据库，查看数据库是否开启二进制日志功能，如果数据库***没有开启二进制日志功能，则使用全量同步模式；如果二进制日志功能开启，则判定需要采用增量同步模式；
对于Oracle、DB2数据库，查看数据库***是否开启归档日志模式，如果开启，则判定可采用增量同步模式，否则判定需要采用全量同步模式；
对于SQL Server数据库，查看日志模式是否为完全日志工作模式，如果是，则可采用增量同步模式，否则判定需要采用全量同步模式。
6.根据权利要求1至4任一项所述的实现多源异构数据资源自动同步的方法，其特征在于：当源数据库可以进行增量同步更新时，日志解析器首先获取指定时间段内的所有日志文件，并根据数据库类型，解析日志文件内容，获取DDL与DML语句；同时，针对每种数据库，日志解析器将采用不同的方式解析日志文件内容，具体如下：
对于MySQL数据库，通过调用内置的mysqlbinlog工具，查询日志内容，获取相应的DDL与DML语句；
对于Oracle数据库，通过使用LogMiner工具，解析归档日志的内容；首先调用内置的存储过程sys.DBMS._LOGMNR_D.BUILD从redo日志中获取LogMiner所需的数据字典；然后，添加需要解析的日志文件，并进行解析；最后，查看解析结果视图，获取DDL与DML操作语句；
对于DB2数据库，首先通过调用数据库***内置的API接口--db2ReadLogNoConn，初始化解析环境；然后，调用db2ReadLog接口，逐条解析日志记录，获取DDL与DML语句；
对于SQL Server数据库，利用fn_dblog，读取SQL Server日志，并根据SQLServer二进制日志文件格式，逐条进行解析，获取DDL与DML语句。
7.根据权利要求5所述的实现多源异构数据资源自动同步的方法，其特征在于：当源数据库可以进行增量同步更新时，日志解析器首先获取指定时间段内的所有日志文件，并根据数据库类型，解析日志文件内容，获取DDL与DML语句；同时，针对每种数据库，日志解析器将采用不同的方式解析日志文件内容，具体如下：
对于MySQL数据库，通过调用内置的mysqlbinlog工具，查询日志内容，获取相应的DDL与DML语句；
对于Oracle数据库，通过使用LogMiner工具，解析归档日志的内容；首先调用内置的存储过程sys.DBMS._LOGMNR_D.BUILD从redo日志中获取LogMiner所需的数据字典；然后，添加需要解析的日志文件，并进行解析；最后，查看解析结果视图，获取DDL与DML操作语句；
对于DB2数据库，首先通过调用数据库***内置的API接口--db2ReadLogNoConn，初始化解析环境；然后，调用db2ReadLog接口，逐条解析日志记录，获取DDL与DML语句；
对于SQL Server数据库，利用fn_dblog，读取SQL Server日志，并根据SQLServer二进制日志文件格式，逐条进行解析，获取DDL与DML语句。
8.根据权利要求1至4任一项所述的实现多源异构数据资源自动同步的方法，其特征在于：当确定同步方式后，同步更新器根据选择的同步方式，更新前置机节点上的数据库；如果采用增量同步更新方式，同步更新器将启用一个线程获取DDL与DML语句，并保存在本地的缓存中；同时，它将启动另外一个线程，依次执行DDL与DML语句，更新本地服务器内容；如果是全量更新方式，同步更新器将开启一个新线程，并创建一个新的数据同步脚本，调用***的进程创建对象ProcessBuilder执行同步脚本，并重定向错误输出流到输入流中，获取同步进度信息，具体如下：
对于Oracle、MySQL数据库，同步更新器使用数据库***提供的dump及load工具，将源数据库的内容复制到目标数据库的服务器上，再利用load工具，载入数据；
对于DB2数据库，首先利用DB2内置的命令，编目源数据；然后，利用db2look工具，获取源数据库所有表的名称；接着，查看源数据库的编码方式，利用export工具，以ixf格式逐表将源数据库中的数据导出；最后，利用load工具，将数据载入到本地数据库中。
9.根据权利要求5所述的实现多源异构数据资源自动同步的方法，其特征在于：当确定同步方式后，同步更新器根据选择的同步方式，更新前置机节点上的数据库；如果采用增量同步更新方式，同步更新器将启用一个线程获取DDL与DML语句，并保存在本地的缓存中；同时，它将启动另外一个线程，依次执行DDL与DML语句，更新本地服务器内容；如果是全量更新方式，同步更新器将开启一个新线程，并创建一个新的数据同步脚本，调用***的进程创建对象ProcessBuilder执行同步脚本，并重定向错误输出流到输入流中，获取同步进度信息，具体如下：
对于Oracle、MySQL数据库，同步更新器使用数据库***提供的dump及load工具，将源数据库的内容复制到目标数据库的服务器上，再利用load工具，载入数据；
对于DB2数据库，首先利用DB2内置的命令，编目源数据；然后，利用db2look工具，获取源数据库所有表的名称；接着，查看源数据库的编码方式，利用export工具，以ixf格式逐表将源数据库中的数据导出；最后，利用load工具，将数据载入到本地数据库中。
10.根据权利要求6所述的实现多源异构数据资源自动同步的方法，其特征在于：当确定同步方式后，同步更新器根据选择的同步方式，更新前置机节点上的数据库；如果采用增量同步更新方式，同步更新器将启用一个线程获取DDL与DML语句，并保存在本地的缓存中；同时，它将启动另外一个线程，依次执行DDL与DML语句，更新本地服务器内容；如果是全量更新方式，同步更新器将开启一个新线程，并创建一个新的数据同步脚本，调用***的进程创建对象ProcessBuilder执行同步脚本，并重定向错误输出流到输入流中，获取同步进度信息，具体如下：
对于Oracle、MySQL数据库，同步更新器使用数据库***提供的dump及load工具，将源数据库的内容复制到目标数据库的服务器上，再利用load工具，载入数据；
对于DB2数据库，首先利用DB2内置的命令，编目源数据；然后，利用db2look工具，获取源数据库所有表的名称；接着，查看源数据库的编码方式，利用export工具，以ixf格式逐表将源数据库中的数据导出；最后，利用load工具，将数据载入到本地数据库中。
CN201310539536.6A 2013-11-04 2013-11-04 一种实现多源异构数据资源自动同步的方法 Active CN103617176B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201310539536.6A CN103617176B (zh) 2013-11-04 2013-11-04 一种实现多源异构数据资源自动同步的方法
US14/402,106 US20180081956A1 (en) 2013-11-04 2014-02-10 Method for automatically synchronizing multi-source heterogeneous data resources
PCT/CN2014/071941 WO2015062181A1 (zh) 2013-11-04 2014-02-10 用于实现多源异构数据资源自动同步的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310539536.6A CN103617176B (zh) 2013-11-04 2013-11-04 一种实现多源异构数据资源自动同步的方法

Publications (2)

Publication Number Publication Date
CN103617176A true CN103617176A (zh) 2014-03-05
CN103617176B CN103617176B (zh) 2017-03-15

Family

ID=50167879

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310539536.6A Active CN103617176B (zh) 2013-11-04 2013-11-04 一种实现多源异构数据资源自动同步的方法

Country Status (3)

Country Link
US (1) US20180081956A1 (zh)
CN (1) CN103617176B (zh)
WO (1) WO2015062181A1 (zh)

Cited By (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008135A (zh) * 2014-05-07 2014-08-27 南京邮电大学 一种多源异构数据库融合***及其数据查询方法
CN104156419A (zh) * 2014-08-03 2014-11-19 广东电子工业研究院有限公司 一种异构数据源的实体化方法及其引擎
CN104572939A (zh) * 2014-12-30 2015-04-29 北京锐安科技有限公司 一种行业内异构数据交换的数据查询方法
CN104881462A (zh) * 2015-05-22 2015-09-02 广州时韵信息科技有限公司 元数据管理***
CN104881455A (zh) * 2015-05-20 2015-09-02 深圳市酷开网络科技有限公司 一种基于mysql的结构差异处理方法及***
CN104881494A (zh) * 2015-06-12 2015-09-02 北京奇虎科技有限公司 与Redis服务器进行数据同步的方法、装置和***
CN105005618A (zh) * 2015-07-21 2015-10-28 杭州合众数据技术有限公司 一种异构数据库之间的数据同步方法及***
CN105205053A (zh) * 2014-05-30 2015-12-30 阿里巴巴集团控股有限公司 一种数据库增量日志解析方法及***
CN105279045A (zh) * 2015-10-28 2016-01-27 浪潮(北京)电子信息产业有限公司 一种数据库的数据恢复方法及***
CN105320769A (zh) * 2015-10-28 2016-02-10 浪潮(北京)电子信息产业有限公司 一种Oracle数据库的数据同步方法及***
CN105426440A (zh) * 2015-11-06 2016-03-23 云南电网有限责任公司 一种基于数据库的异构型数据批量同步方法
CN105471965A (zh) * 2015-11-17 2016-04-06 国云科技股份有限公司 一种多个异构***同步用户数据到一个ldap的方法
CN105491106A (zh) * 2015-11-18 2016-04-13 中国石油天然气集团公司 一种石油测井主从数据库***实时同步***和方法
CN105760517A (zh) * 2016-02-25 2016-07-13 浪潮(北京)电子信息产业有限公司 将数据从Oracle数据库迁移至DB2数据库的方法和装置
CN106485465A (zh) * 2016-09-22 2017-03-08 济南浪潮高新科技投资发展有限公司 一种可配置的定时数据同步方法
CN106502589A (zh) * 2016-10-21 2017-03-15 普元信息技术股份有限公司 基于云计算实现缓存的加载或持久化的***及方法
CN106777345A (zh) * 2017-01-16 2017-05-31 山东浪潮商用***有限公司 一种基于海量数据迁移的数据抽取加载方法
CN107679158A (zh) * 2017-09-28 2018-02-09 泰康保险集团股份有限公司 数据管理方法、装置、计算机可读介质和电子设备
CN107729366A (zh) * 2017-09-08 2018-02-23 广东省建设信息中心 一种普适多源异构大规模数据同步***
CN107844506A (zh) * 2016-09-21 2018-03-27 阿里巴巴集团控股有限公司 一种实现数据库与缓存的数据同步的方法及装置
CN107844566A (zh) * 2017-11-02 2018-03-27 杭州时趣信息技术有限公司 一种dump控制方法及其***
CN108255704A (zh) * 2017-11-07 2018-07-06 中国平安人寿保险股份有限公司 一种脚本调用事件的异常响应方法及其终端
CN108984564A (zh) * 2017-06-02 2018-12-11 北京京东尚科信息技术有限公司 数据存储***、方法和装置
CN109189852A (zh) * 2018-08-01 2019-01-11 武汉达梦数据库有限公司 一种数据同步的方法及用于数据同步的装置
CN109447485A (zh) * 2018-10-31 2019-03-08 北京百分点信息科技有限公司 一种基于规则的实时决策***及方法
CN109522361A (zh) * 2018-09-27 2019-03-26 中国经济信息社有限公司 一种利用消息总线进行数据库实时同步的方法及***
CN109558452A (zh) * 2018-11-19 2019-04-02 武汉达梦数据库有限公司 一种查询建表操作的同步方法
CN109657000A (zh) * 2018-10-19 2019-04-19 北京全路通信信号研究设计院集团有限公司 一种轨道交通综合监控***的实时数据同步方法及装置
CN109656934A (zh) * 2018-11-19 2019-04-19 武汉达梦数据库有限公司 基于日志解析的源端Oracle数据库DDL同步方法及设备
CN109818998A (zh) * 2017-11-22 2019-05-28 中国电信股份有限公司 信息同步方法和装置
CN109947726A (zh) * 2017-07-27 2019-06-28 蓝盾信息安全技术有限公司 基于事务日志分析的单导***中db2数据库同步技术
CN110019118A (zh) * 2017-09-28 2019-07-16 广东亿迅科技有限公司 基于DevOps提升数据库运维效率的***及其方法
CN110046168A (zh) * 2019-03-28 2019-07-23 苏宁易购集团股份有限公司 一种增量数据一致性实现方法及装置
CN110134648A (zh) * 2019-05-22 2019-08-16 中国联合网络通信集团有限公司 日志处理方法、装置、设备、***及计算机可读存储介质
CN110147411A (zh) * 2019-05-20 2019-08-20 平安科技（深圳）有限公司 数据同步方法、装置、计算机设备及存储介质
CN110532275A (zh) * 2019-08-09 2019-12-03 国云科技股份有限公司 一种跨域数据和文件更新同步的实现方法
CN110569142A (zh) * 2019-08-29 2019-12-13 天津大学 一种oracle数据增量同步***及方法
CN110651265A (zh) * 2017-03-28 2020-01-03 英国天然气控股有限公司 数据复制***
CN111078768A (zh) * 2019-11-25 2020-04-28 深圳壹账通智能科技有限公司 基于图形数据库的数据导入方法、***和可读存储介质
CN111158972A (zh) * 2019-12-05 2020-05-15 连连银通电子支付有限公司 一种开关状态确定方法、装置、设备和介质
CN111177134A (zh) * 2019-12-26 2020-05-19 上海科技发展有限公司 适用于海量数据的数据质量分析方法、装置、终端及介质
CN111324618A (zh) * 2020-02-18 2020-06-23 青岛农业大学 一种异地实时同步药用生物资源数据的***及方法
CN111352766A (zh) * 2018-12-21 2020-06-30 ***通信集团山东有限公司 一种数据库的双活实现方法及装置
CN111367994A (zh) * 2019-06-27 2020-07-03 北京关键科技股份有限公司 数据库增量数据同步备份方法及***
CN111444278A (zh) * 2020-04-01 2020-07-24 Oppo（重庆）智能科技有限公司 数据同步方法、装置及中转服务器
US10789271B2 (en) 2015-04-16 2020-09-29 Alibaba Group Holding Limited System, method, and apparatus for synchronization among heterogeneous data sources
CN112527839A (zh) * 2020-12-10 2021-03-19 上海浦东发展银行股份有限公司 多源数据处理方法、***、设备及存储介质
CN113326247A (zh) * 2021-04-28 2021-08-31 上海淇馥信息技术有限公司 云端数据的迁移方法、装置及电子设备
CN113987078A (zh) * 2021-12-24 2022-01-28 中兴通讯股份有限公司 数据同步方法、设备及计算机可读存储介质
CN114490882A (zh) * 2022-04-15 2022-05-13 北京快立方科技有限公司 一种异构数据库数据同步分析方法
CN117312281A (zh) * 2023-06-30 2023-12-29 江苏中科西北星信息科技有限公司 一种多源异构数据自动融合方法、***、设备及存储介质
CN117971984A (zh) * 2024-03-29 2024-05-03 天津南大通用数据技术股份有限公司 分布式数据库集群间表数据的同步方法及***

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760174A (zh) * 2016-03-09 2016-07-13 浪潮软件集团有限公司 一种基于Windows定时任务的建议数据抽取方法
CN107590253A (zh) * 2017-09-19 2018-01-16 郑州云海信息技术有限公司 一种针对MySQL数据库配置安全性的自动化检测方法
CN110543513B (zh) * 2018-05-29 2024-03-15 金篆信科有限责任公司 分布式数据库增量数据同步方法、设备及存储介质
CN109063135B (zh) * 2018-08-03 2021-08-06 中国人民银行清算总中心 一种基于多活分布式架构的数据库复制方法及***
CN109739931B (zh) * 2018-12-21 2023-03-24 浪潮软件股份有限公司 一种基于CMSP的MySQLBinlog日志解析的增量同步方法
FR3092678B1 (fr) * 2019-02-08 2024-01-05 Amadeus Sas Registre distribué
CN112231324B (zh) * 2019-06-26 2023-03-24 金篆信科有限责任公司 一种实现增量数据比对的***及方法
CN110502540A (zh) * 2019-07-23 2019-11-26 招联消费金融有限公司 数据处理方法、装置、计算机设备和存储介质
CN110995466B (zh) * 2019-11-06 2022-04-26 通号通信信息集团有限公司 安全态势感知***下的多格式日志统一处理方法及***
CN110879812B (zh) * 2019-11-20 2023-06-20 浪潮软件股份有限公司 一种电商平台中基于spark的数据同步方法
CN111061788B (zh) * 2019-11-26 2023-10-13 江苏瑞中数据股份有限公司 一种基于云架构的多源异构数据转换整合***及其实现方法
CN111414363B (zh) * 2020-03-13 2023-04-14 上海银赛计算机科技有限公司 适用于MySQL中客户数据的并行异构方法、***、介质及设备
CN111488243B (zh) * 2020-03-19 2023-07-07 北京金山云网络技术有限公司 MongoDB数据库的备份、恢复方法、装置、电子设备及存储介质
CN111414403B (zh) * 2020-03-20 2023-04-14 腾讯科技（深圳）有限公司 数据访问方法和装置、数据存储方法和装置
CN111858501B (zh) * 2020-06-02 2023-03-28 武汉达梦数据库股份有限公司 一种基于日志解析同步的日志读取方法和数据同步***
CN111782618B (zh) * 2020-06-24 2023-01-31 中国电子科技集团公司电子科学研究院 一种数据同步***
CN112130999B (zh) * 2020-09-23 2024-02-13 南方电网科学研究院有限责任公司 一种基于边缘计算的电力异构数据处理方法
CN112231407B (zh) * 2020-10-22 2023-09-15 北京人大金仓信息技术股份有限公司 PostgreSQL数据库的DDL同步方法、装置、设备和介质
CN112559473B (zh) * 2020-12-11 2022-06-21 武汉达梦数据库股份有限公司 一种基于优先级的双路同步方法和同步***
CN112559626B (zh) * 2020-12-11 2022-06-21 武汉达梦数据库股份有限公司 一种基于日志解析的ddl操作的同步方法和同步***
WO2022126918A1 (zh) * 2020-12-17 2022-06-23 平安科技（深圳）有限公司 关联脚本自动同步方法、装置、计算机设备及存储介质
CN113010609B (zh) * 2020-12-23 2023-05-16 上海海鼎信息工程股份有限公司 一种应用于门店经营的差异化同步方法及***
CN112860666B (zh) * 2021-02-08 2024-06-18 土巴兔集团股份有限公司 数据迁移方法、装置、计算机设备及存储介质
CN113010607A (zh) * 2021-04-06 2021-06-22 工银科技有限公司 ***间数据同步方法、装置、计算机***、存储介质
CN113468170B (zh) * 2021-06-02 2024-06-14 上海赛可出行科技服务有限公司 一种自动化实现数据实时同步的***
CN113486113B (zh) * 2021-06-25 2023-06-06 山东齐鲁数通科技有限公司 一种基于Kettle的增量同步数据的方法及终端
CN113486116A (zh) * 2021-07-07 2021-10-08 建信金融科技有限责任公司 一种数据同步方法、装置、电子设备及计算机可读介质
CN113779141A (zh) * 2021-08-10 2021-12-10 携程商旅信息服务（上海）有限公司 商旅酒店信息同步存储方法、电子设备和介质
CN113682183B (zh) * 2021-09-29 2023-07-21 国网山东省电力公司泗水县供电公司 一种基于scada***的智能电动汽车充电***
CN113672692B (zh) * 2021-10-25 2022-02-22 腾讯科技（深圳）有限公司 数据处理方法、装置、计算机设备和存储介质
CN114490842B (zh) * 2021-12-28 2022-11-11 航天科工智慧产业发展有限公司 一种多源数据的接口数据查询方法和数据查询引擎
CN114661523A (zh) * 2022-03-18 2022-06-24 车主邦（北京）科技有限公司 数据备份方法、装置、程序产品、介质及电子设备
JP7386921B2 (ja) 2022-04-20 2023-11-27 三菱電機Ｉｔソリューションズ株式会社 データ移行装置およびデータ移行方法
CN114996353A (zh) * 2022-05-26 2022-09-02 厦门立林科技有限公司 一种分布式的智能实时数据流分发方法及***
CN115469912B (zh) * 2022-11-02 2023-01-24 中国人民解放军国防科技大学 异构实时信息处理***设计方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8595382B2 (en) * 2010-06-07 2013-11-26 Salesforce.Com, Inc. System, method and computer program product for performing a synchronization of data
CN102750283A (zh) * 2011-04-20 2012-10-24 阿里巴巴集团控股有限公司 海量数据同步***及方法
CN102508835B (zh) * 2011-09-22 2015-04-15 用友软件股份有限公司 基于日志管理包的增量数据实时同步装置和方法
CN102693324B (zh) * 2012-01-09 2015-03-18 西安电子科技大学 一种分布式数据库同步***、同步方法和节点管理方法

Cited By (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008135A (zh) * 2014-05-07 2014-08-27 南京邮电大学 一种多源异构数据库融合***及其数据查询方法
CN105205053A (zh) * 2014-05-30 2015-12-30 阿里巴巴集团控股有限公司 一种数据库增量日志解析方法及***
CN104156419A (zh) * 2014-08-03 2014-11-19 广东电子工业研究院有限公司 一种异构数据源的实体化方法及其引擎
CN104156419B (zh) * 2014-08-03 2019-07-26 广东电子工业研究院有限公司 一种异构数据源的实体化方法及其引擎
CN104572939A (zh) * 2014-12-30 2015-04-29 北京锐安科技有限公司 一种行业内异构数据交换的数据查询方法
US10789271B2 (en) 2015-04-16 2020-09-29 Alibaba Group Holding Limited System, method, and apparatus for synchronization among heterogeneous data sources
CN104881455A (zh) * 2015-05-20 2015-09-02 深圳市酷开网络科技有限公司 一种基于mysql的结构差异处理方法及***
CN104881455B (zh) * 2015-05-20 2019-01-29 深圳市酷开网络科技有限公司 一种基于mysql的结构差异处理方法及***
CN104881462A (zh) * 2015-05-22 2015-09-02 广州时韵信息科技有限公司 元数据管理***
CN104881462B (zh) * 2015-05-22 2018-11-13 广东中标数据科技股份有限公司 元数据管理***
CN104881494A (zh) * 2015-06-12 2015-09-02 北京奇虎科技有限公司 与Redis服务器进行数据同步的方法、装置和***
CN104881494B (zh) * 2015-06-12 2019-02-19 北京奇虎科技有限公司 与Redis服务器进行数据同步的方法、装置和***
CN105005618A (zh) * 2015-07-21 2015-10-28 杭州合众数据技术有限公司 一种异构数据库之间的数据同步方法及***
CN105320769A (zh) * 2015-10-28 2016-02-10 浪潮(北京)电子信息产业有限公司 一种Oracle数据库的数据同步方法及***
CN105279045A (zh) * 2015-10-28 2016-01-27 浪潮(北京)电子信息产业有限公司 一种数据库的数据恢复方法及***
CN105426440A (zh) * 2015-11-06 2016-03-23 云南电网有限责任公司 一种基于数据库的异构型数据批量同步方法
CN105426440B (zh) * 2015-11-06 2018-07-27 云南电网有限责任公司 一种基于数据库的异构型数据批量同步方法
CN105471965A (zh) * 2015-11-17 2016-04-06 国云科技股份有限公司 一种多个异构***同步用户数据到一个ldap的方法
CN105491106A (zh) * 2015-11-18 2016-04-13 中国石油天然气集团公司 一种石油测井主从数据库***实时同步***和方法
CN105760517A (zh) * 2016-02-25 2016-07-13 浪潮(北京)电子信息产业有限公司 将数据从Oracle数据库迁移至DB2数据库的方法和装置
CN107844506B (zh) * 2016-09-21 2021-06-11 阿里巴巴集团控股有限公司 一种实现数据库与缓存的数据同步的方法及装置
CN107844506A (zh) * 2016-09-21 2018-03-27 阿里巴巴集团控股有限公司 一种实现数据库与缓存的数据同步的方法及装置
CN106485465A (zh) * 2016-09-22 2017-03-08 济南浪潮高新科技投资发展有限公司 一种可配置的定时数据同步方法
CN106502589A (zh) * 2016-10-21 2017-03-15 普元信息技术股份有限公司 基于云计算实现缓存的加载或持久化的***及方法
CN106502589B (zh) * 2016-10-21 2019-08-20 普元信息技术股份有限公司 基于云计算实现缓存的加载或持久化的***及方法
CN106777345A (zh) * 2017-01-16 2017-05-31 山东浪潮商用***有限公司 一种基于海量数据迁移的数据抽取加载方法
CN106777345B (zh) * 2017-01-16 2020-07-28 浪潮软件科技有限公司 一种基于海量数据迁移的数据抽取加载方法
CN110651265A (zh) * 2017-03-28 2020-01-03 英国天然气控股有限公司 数据复制***
CN108984564A (zh) * 2017-06-02 2018-12-11 北京京东尚科信息技术有限公司 数据存储***、方法和装置
CN109947726A (zh) * 2017-07-27 2019-06-28 蓝盾信息安全技术有限公司 基于事务日志分析的单导***中db2数据库同步技术
WO2019047479A1 (zh) * 2017-09-08 2019-03-14 广东省建设信息中心 一种普适多源异构大规模数据同步***
CN107729366B (zh) * 2017-09-08 2021-01-05 广东省建设信息中心 一种普适多源异构大规模数据同步***
CN107729366A (zh) * 2017-09-08 2018-02-23 广东省建设信息中心 一种普适多源异构大规模数据同步***
CN110019118A (zh) * 2017-09-28 2019-07-16 广东亿迅科技有限公司 基于DevOps提升数据库运维效率的***及其方法
CN107679158A (zh) * 2017-09-28 2018-02-09 泰康保险集团股份有限公司 数据管理方法、装置、计算机可读介质和电子设备
CN107844566A (zh) * 2017-11-02 2018-03-27 杭州时趣信息技术有限公司 一种dump控制方法及其***
CN107844566B (zh) * 2017-11-02 2020-05-05 杭州时趣信息技术有限公司 一种dump控制方法及其***
CN108255704B (zh) * 2017-11-07 2020-01-10 中国平安人寿保险股份有限公司 一种脚本调用事件的异常响应方法及其终端
CN108255704A (zh) * 2017-11-07 2018-07-06 中国平安人寿保险股份有限公司 一种脚本调用事件的异常响应方法及其终端
CN109818998A (zh) * 2017-11-22 2019-05-28 中国电信股份有限公司 信息同步方法和装置
CN109189852B (zh) * 2018-08-01 2021-05-28 武汉达梦数据库有限公司 一种数据同步的方法及用于数据同步的装置
CN109189852A (zh) * 2018-08-01 2019-01-11 武汉达梦数据库有限公司 一种数据同步的方法及用于数据同步的装置
CN109522361A (zh) * 2018-09-27 2019-03-26 中国经济信息社有限公司 一种利用消息总线进行数据库实时同步的方法及***
CN109657000A (zh) * 2018-10-19 2019-04-19 北京全路通信信号研究设计院集团有限公司 一种轨道交通综合监控***的实时数据同步方法及装置
CN109657000B (zh) * 2018-10-19 2021-03-02 北京全路通信信号研究设计院集团有限公司 一种轨道交通综合监控***的实时数据同步方法及装置
CN109447485A (zh) * 2018-10-31 2019-03-08 北京百分点信息科技有限公司 一种基于规则的实时决策***及方法
CN109558452A (zh) * 2018-11-19 2019-04-02 武汉达梦数据库有限公司 一种查询建表操作的同步方法
CN109558452B (zh) * 2018-11-19 2020-12-08 武汉达梦数据库有限公司 一种查询建表操作的同步方法
CN109656934A (zh) * 2018-11-19 2019-04-19 武汉达梦数据库有限公司 基于日志解析的源端Oracle数据库DDL同步方法及设备
CN111352766A (zh) * 2018-12-21 2020-06-30 ***通信集团山东有限公司 一种数据库的双活实现方法及装置
CN110046168B (zh) * 2019-03-28 2021-03-26 南京苏宁软件技术有限公司 一种增量数据一致性实现方法及装置
CN110046168A (zh) * 2019-03-28 2019-07-23 苏宁易购集团股份有限公司 一种增量数据一致性实现方法及装置
CN110147411A (zh) * 2019-05-20 2019-08-20 平安科技（深圳）有限公司 数据同步方法、装置、计算机设备及存储介质
CN110134648A (zh) * 2019-05-22 2019-08-16 中国联合网络通信集团有限公司 日志处理方法、装置、设备、***及计算机可读存储介质
CN111367994A (zh) * 2019-06-27 2020-07-03 北京关键科技股份有限公司 数据库增量数据同步备份方法及***
CN110532275A (zh) * 2019-08-09 2019-12-03 国云科技股份有限公司 一种跨域数据和文件更新同步的实现方法
CN110569142A (zh) * 2019-08-29 2019-12-13 天津大学 一种oracle数据增量同步***及方法
CN111078768A (zh) * 2019-11-25 2020-04-28 深圳壹账通智能科技有限公司 基于图形数据库的数据导入方法、***和可读存储介质
CN111158972A (zh) * 2019-12-05 2020-05-15 连连银通电子支付有限公司 一种开关状态确定方法、装置、设备和介质
CN111158972B (zh) * 2019-12-05 2020-08-25 连连银通电子支付有限公司 一种开关状态确定方法、装置、设备和介质
CN111177134A (zh) * 2019-12-26 2020-05-19 上海科技发展有限公司 适用于海量数据的数据质量分析方法、装置、终端及介质
CN111324618A (zh) * 2020-02-18 2020-06-23 青岛农业大学 一种异地实时同步药用生物资源数据的***及方法
CN111444278A (zh) * 2020-04-01 2020-07-24 Oppo（重庆）智能科技有限公司 数据同步方法、装置及中转服务器
CN111444278B (zh) * 2020-04-01 2023-08-29 Oppo（重庆）智能科技有限公司 数据同步方法、装置及中转服务器
CN112527839A (zh) * 2020-12-10 2021-03-19 上海浦东发展银行股份有限公司 多源数据处理方法、***、设备及存储介质
CN113326247B (zh) * 2021-04-28 2023-02-21 上海淇馥信息技术有限公司 云端数据的迁移方法、装置及电子设备
CN113326247A (zh) * 2021-04-28 2021-08-31 上海淇馥信息技术有限公司 云端数据的迁移方法、装置及电子设备
CN113987078B (zh) * 2021-12-24 2022-04-19 中兴通讯股份有限公司 数据同步方法、设备及计算机可读存储介质
CN113987078A (zh) * 2021-12-24 2022-01-28 中兴通讯股份有限公司 数据同步方法、设备及计算机可读存储介质
CN114490882A (zh) * 2022-04-15 2022-05-13 北京快立方科技有限公司 一种异构数据库数据同步分析方法
CN117312281A (zh) * 2023-06-30 2023-12-29 江苏中科西北星信息科技有限公司 一种多源异构数据自动融合方法、***、设备及存储介质
CN117312281B (zh) * 2023-06-30 2024-05-24 江苏中科西北星信息科技有限公司 一种多源异构数据自动融合方法、***、设备及存储介质
CN117971984A (zh) * 2024-03-29 2024-05-03 天津南大通用数据技术股份有限公司 分布式数据库集群间表数据的同步方法及***

Also Published As

Publication number Publication date
US20180081956A1 (en) 2018-03-22
CN103617176B (zh) 2017-03-15
WO2015062181A1 (zh) 2015-05-07

Similar Documents

Publication Publication Date Title
CN103617176A (zh) 一种实现多源异构数据资源自动同步的方法
US11176140B2 (en) Updating a table using incremental and batch updates
CN108932282B (zh) 一种数据库迁移方法、装置和存储介质
US10740093B2 (en) Advanced packaging techniques for improving work flows
US9626411B1 (en) Self-described query execution in a massively parallel SQL execution engine
US10977227B2 (en) Dynamic snapshot isolation protocol selection
KR102177190B1 (ko) 유연한 스키마를 사용한 데이터 관리
CN109189852B (zh) 一种数据同步的方法及用于数据同步的装置
CN104899295B (zh) 一种异构数据源数据关联分析方法
CN103699638B (zh) 一种基于配置参数实现跨数据库类型同步数据的方法
US10929398B2 (en) Distributed system with accelerator and catalog
US10585909B2 (en) Task-execution in a DBMS using stored procedures
US20120265836A1 (en) File sharing system and file sharing method
US20140143284A1 (en) Zero downtime schema evolution
US20140195514A1 (en) Unified interface for querying data in legacy databases and current databases
CN106503158B (zh) 数据同步方法及装置
CN112286941B (zh) 一种基于Binlog+HBase+Hive的大数据同步方法和装置
CN102063500A (zh) 一种数据迁移的方法及装置
CN111324610A (zh) 一种数据同步的方法及装置
CN104462269A (zh) 一种异构数据库数据交换方法及***
US20150006485A1 (en) High Scalability Data Management Techniques for Representing, Editing, and Accessing Data
US10489356B1 (en) Truncate and append database operation
CN105353988A (zh) 一种元数据读写方法及装置
CN106933555A (zh) 一种数据框架***
US20190303460A1 (en) Transaction-based pseudo-script generation for scheduling and implementing database schema changes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant