CN103685543A - 一种异构数据库间的数据同步方法及*** - Google Patents
一种异构数据库间的数据同步方法及*** Download PDFInfo
- Publication number
- CN103685543A CN103685543A CN201310718250.4A CN201310718250A CN103685543A CN 103685543 A CN103685543 A CN 103685543A CN 201310718250 A CN201310718250 A CN 201310718250A CN 103685543 A CN103685543 A CN 103685543A
- Authority
- CN
- China
- Prior art keywords
- data
- file
- sync
- server
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Storage Device Security (AREA)
Abstract
本发明公开了一种异构数据库间的数据同步方法及***。其中，该方法包括：客户端监测扫描指定数据的变化，对变化的数据依照设置的同步数据文件结构进行数据转换，产生同步数据文件；客户端对同步数据文件进行压缩和加密，并将压缩和加密后的同步数据文件采用FTP方式传送到服务器；服务器对接收到的同步数据文件进行解密、解压；服务器依照与客户端协商的异构屏蔽文件结构进行同步数据文件的解析，并进行数据转换；服务器将转换后的数据按照指定的操作，同步到指定的数据库中。通过本发明，解决了相关技术中数据同步方法不能达到足够的安全高效准确的问题，有效屏蔽数据库和数据表的异构性，减少分布环境下的数据流量，提高数据传输的安全性。
Description
技术领域
本发明涉及通讯领域，特别是涉及一种异构数据库间的数据同步方法及***。
背景技术
作为一种新的商业计算模式，云计算可以自我维护和管理庞大的虚拟计算资源(包括计算服务器、存储服务器、宽带资源等等)，从而提供各种IT服务。用户在使用云计算提供的服务时按需付费，这不仅降低了使用门槛，也极大地节省了开销。在云计算环境下，为实现高效的服务支持，并维持服务提供者间的公平性，多数据中心的协作是必不可少的。因此在多数据中心环境下如何维持数据的全局一致性变得至关重要。数据库是存储管理***和用户数据的一种重要手段。但云计算的大型网络应用呈现出分布、异构的特点。这使得云计算在采用现有的同步技术实现云计算数据中心异构数据库间的数据一致性维护时变得困难重重。
现有的数据库同步方法有两种：一种是数据库厂商如Oracle、SQL Server等针对各自数据库***开发的同步方案。这些同步方案通用性差，且因其商业化的性质导致技术封闭、代码不能公开、标准不统一和平台依赖性强，从而无法满足不同数据库厂商的数据库产品间的同步。另一种是利用数据库触发器和存储过程实现的第三方数据同步***。这些***应用广泛，但是当同步数据量较大时，占用了大量的数据库存储空间，严重影响数据库性能；且其扩展性差，特别是在出现新的数据表单及数据结构发生变化时，难以实现数据的自动同步更新；同时，其采用透明传输，安全性差，不适应对安全性有很高要求的应用需求。
针对相关技术中数据同步方法不能达到足够的安全、高效、准确的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中数据同步方法不能达到足够的安全、高效、准确的问题，本发明提供了一种异构数据库间的数据同步方法及***，用以解决上述技术问题。
根据本发明的一个方面，本发明提供了一种异构数据库间的数据同步方法，其中，该方法包括：针对需要进行同步的数据，客户端与服务器协商确定需要进行数据同步的异构屏蔽文件结构；上述客户端监测扫描指定数据的变化，对变化的数据依照设置的同步数据文件结构进行数据转换，产生同步数据文件；上述客户端对上述同步数据文件进行压缩和加密，并将压缩和加密后的同步数据文件采用文件传输协议（File Transfer Protocol，简称为FTP）方式传送到上述服务器；上述服务器对接收到的同步数据文件进行解密、解压；上述服务器依照与客户端协商的上述异构屏蔽文件结构，进行同步数据文件的解析，并进行数据转换；上述服务器将转换后的数据按照指定的操作，同步到指定的数据库中。
优选地，上述客户端监测扫描指定数据的变化，对变化的数据依照设置的同步数据文件结构进行数据转换，产生同步数据文件，包括：上述客户端扫描数据结构的变化，对变化的数据结构进行数据类型转换；上述客户端根据设置的同步数据文件结构，将变化的数据按照转换的数据类型生成同步数据文件；其中，上述同步数据文件采用XML（可扩展标记语言）进行定义和声明。
优选地，上述服务器进行数据转换包括：上述服务器将上述同步数据文件中的数据，按照XML定义和声明进行数据转换。
优选地，上述服务器将转换后的数据按照指定的操作，同步到指定的数据库中，包括：上述服务器将转换后的数据按照其数据操作方式生成对应的结构化查询语言（Structured Query Language，简称为SQL）语句；上述服务器采用生成的上述SQL语句实现数据库操作，执行上述客户端和上述服务器之间的数据同步操作。
优选地，上述服务器将转换后的数据按照指定的操作，同步到指定的数据库中之后，上述方法还包括：在数据同步操作完成后，上述服务器对数据同步操作过程中产生的临时文件进行清理。
根据本发明的另一方面，本发明还提供了一种异构数据库间的数据同步***，其中，该***包括客户端和服务器；其中，上述客户端包括：第一结构协商模块，用于与服务器协商确定需要进行数据同步的异构屏蔽文件结构；第一数据转换模块，用于监测扫描指定数据的变化，对变化的数据依照设置的同步数据文件结构进行数据转换，产生同步数据文件；文件传送模块，用于对上述同步数据文件进行压缩和加密，并将压缩和加密后的同步数据文件采用FTP方式传送到上述服务器；上述服务器包括：第二结构协商模块，用于与客户端协商确定需要进行数据同步的异构屏蔽文件结构；数据文件处理模块，用于对接收到的同步数据文件进行解密、解压；第二数据转换模块，用于依照与上述客户端协商的上述异构屏蔽文件结构，进行同步数据文件的解析，并进行数据转换；数据同步模块，用于将转换后的数据按照指定的操作，同步到指定的数据库中。
优选地，上述第一数据转换模块包括：数据类型转换单元，用于扫描数据结构的变化，对变化的数据结构进行数据类型转换；数据文件生成单元，用于根据设置的同步数据文件结构，将变化的数据按照转换的数据类型生成同步数据文件；其中，上述同步数据文件采用XML进行定义和声明。
优选地，上述第二数据转换模块包括：数据转换单元，用于将上述同步数据文件中的数据，按照XML定义和声明进行数据转换。
优选地，上述数据同步模块包括：语句生成单元，用于将转换后的数据按照其数据操作方式生成对应的SQL语句；数据同步单元，用于采用生成的上述SQL语句实现数据库操作，执行上述客户端和上述服务器之间的数据同步操作。
优选地，上述服务器还包括：清理模块，用于在数据同步操作完成后，对数据同步操作过程中产生的临时文件进行清理。
通过本发明，提出了一种异构屏蔽的文件结构，通过抽象定义和声明需要同步的对象，给出了异构数据库间进行数据同步时的数据转换方法。解决了相关技术中数据同步方法不能达到足够的安全、高效、准确的问题，通过客户端和服务器的协同，可以方便地实现不同节点间的数据同步，有效地屏蔽了数据库和数据表的异构性；采用XML格式作为同步文件的数据交换格式，较好地解决了在节点异构和数据库异构时因环境不一致和结构冲突等状态下所引起的数据同步失效问题；采用压缩技术和加密技术，减少了分布环境下的数据流量，并提高了数据传输的安全性。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
图1是根据本发明实施例的异构数据库间的数据同步方法的流程图；
图2是根据本发明实施例的异构数据库间的数据同步***的结构框图；
图3是根据本发明实施例的云计算环境下异构数据库间的数据同步***的结构框架图；
图4是根据本发明实施例的客户端数据同步工作流程图；
图5是根据本发明实施例的服务器数据同步工作流程图。
具体实施方式
为了解决现有技术数据同步方法不能达到足够的安全、高效、准确的问题，本发明提供了一种异构数据库间的数据同步方法及***，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。
为克服现有同步技术的不足，安全、高效、准确地实现云计算数据中心异构数据库间的数据同步，维持数据的全局一致性，本发明实施例采用客户端/服务器的模式，提供一种新的可扩展、可配置的数据同步方法及***。该***通过属性配置，方便管理员实现同步规则的设置；设计了一种异构屏蔽的文件结构，通过抽象定义和声明需要同步的对象，给出了异构数据库间进行数据同步时的数据转换方法，有效地屏蔽了数据库和数据表的异构性；采用XML格式作为同步文件的数据交换格式，较好地解决了在节点异构和数据库异构时因环境不一致和结构冲突等状态下所引起的数据同步失效问题；采用压缩技术和加密技术，减少了分布环境下的数据流量，并提高了数据传输的安全性。下面通过具体实施例进行介绍。
本实施例提供了一种异构数据库间的数据同步方法，图1是根据本发明实施例的异构数据库间的数据同步方法的流程图，如图1所示，该方法包括以下步骤（步骤S102-步骤S112）：
步骤S102，针对需要进行同步的数据，客户端与服务器协商确定需要进行数据同步的异构屏蔽文件结构。
步骤S104，客户端监测扫描指定数据的变化，对变化的数据依照设置的同步数据文件结构进行数据转换，产生同步数据文件。数据类型的转换有效地屏蔽了数据库及数据表的异构性。
具体地，客户端扫描数据结构的变化，对变化的数据结构进行数据类型转换；客户端根据设置的同步数据文件结构，将变化的数据按照转换的数据类型生成同步数据文件；其中，同步数据文件采用XML进行定义和声明，这使得该同步数据文件在异构的环境中能够被正确地读取和解析，屏蔽了客户端和服务器间的异构性。
步骤S106，客户端对同步数据文件进行压缩和加密，并将压缩和加密后的同步数据文件采用FTP方式传送到服务器。客户端对同步数据文件进行数据压缩，降低在网络传输中的数据流量。客户端进一步加密被压缩的同步数据文件，提高数据传输的安全性。
步骤S108，服务器对接收到的同步数据文件进行解密、解压。
步骤S110，服务器依照与客户端协商的异构屏蔽文件结构，进行同步数据文件的解析，并进行数据转换。具体地，服务器进行数据转换包括：服务器将同步数据文件中的数据，按照XML定义和声明进行数据转换。
步骤S112，服务器将转换后的数据按照指定的操作，同步到指定的数据库中。
具体地，服务器将转换后的数据按照其数据操作方式生成对应的SQL语句；服务器采用生成的SQL语句实现数据库操作，执行述客户端和服务器之间的数据同步操作。
在步骤S112，服务器将转换后的数据按照指定的操作，同步到指定的数据库中之后，该方法还包括：在数据同步操作完成后，服务器对数据同步操作过程中产生的临时文件进行清理。
通过本实施例，提出了一种异构屏蔽的文件结构，通过抽象定义和声明需要同步的对象，给出了异构数据库间进行数据同步时的数据转换方法。解决了相关技术中数据同步方法不能达到足够的安全、高效、准确的问题，通过客户端和服务器的协同，可以方便地实现不同节点间的数据同步，有效地屏蔽了数据库和数据表的异构性；采用XML格式作为同步文件的数据交换格式，较好地解决了在节点异构和数据库异构时因环境不一致和结构冲突等状态下所引起的数据同步失效问题；采用压缩技术和加密技术，减少了分布环境下的数据流量，并提高了数据传输的安全性。
本实施例采用客户端/服务器的方式实现全局的数据同步，其与现有技术的不同在于：
（1）***包括客户端和服务器两个部分，任何节点可根据需要单独选择成为客户端或服务器，也可同时选择部署这两个部分，使得节点既具有客户端功能也具有服务器功能。
（2）客户端部署在所有需要同步的源数据库端，其功能包括同步规则定义、初始化、数据同步、文件处理、文件传输五个部分。同步规则定义各种***参数及异构屏蔽文件结构等；初始化完成数据库驱动加载、临时文件目录生成和FTP服务器地址获取等；数据同步监测数据的变化，对变化的数据进行转换，并生成同步数据文件；文件处理对同步数据文件进行压缩和加密处理；文件传输则将同步文件传输到同步服务器端。
（3）服务器端部署在所有需要同步的目的数据库端，其功能同样包括同步规则定义、初始化、文件传输、文件处理、数据同步五个部分。同步规则定义用于定义和接收用户输入的各个属性参数并协商异构屏蔽文件结构等；初始化完成数据库驱动加载、工作环境目录设置、FTP服务器初始化等；文件传输是接收客户端传输的同步数据文件；文件处理对同步数据文件进行解密和解压处理；数据同步则根据协商的异构屏蔽文件结构解析客户端传递的同步数据文件，对其中定义的数据进行数据转换，生成对应的SQL语句并执行数据库操作，实现数据同步。
在数据同步过程中，客户端采用触发的方式，捕获变化的数据，并将数据进行转换，在转换的过程中根据异构屏蔽文件结构采用XML技术声明数据库和数据表的数据结构并赋值，建立能够屏蔽数据库和数据表异构性的同步数据文件，通过FTP将压缩和加密的文件传输到设置的目的服务器；服务器对接收的文件进行解密、解压缩，再解析同步数据文件，将数据导入到目标数据库中，完成数据的同步。
对应于上述实施例介绍的异构数据库间的数据同步方法，本实施例提供了一种异构数据库间的数据同步***，用以实现上述实施例。图2是根据本发明实施例的异构数据库间的数据同步***的结构框图，如图2所示，该***包括客户端10和服务器20，其中，客户端10包括：
第一结构协商模块12，用于与服务器协商确定需要进行数据同步的异构屏蔽文件结构。
第一数据转换模块14，用于监测扫描指定数据的变化，对变化的数据依照设置的同步数据文件结构进行数据转换，产生同步数据文件。
文件传送模块16，用于对同步数据文件进行压缩和加密，并将压缩和加密后的同步数据文件采用FTP方式传送到服务器。
服务器20包括：
第二结构协商模块22，用于与客户端协商确定需要进行数据同步的异构屏蔽文件结构。
数据文件处理模块24，用于对接收到的同步数据文件进行解密、解压。
第二数据转换模块26，用于依照与客户端协商的异构屏蔽文件结构，进行同步数据文件的解析，并进行数据转换。
数据同步模块28，用于将转换后的数据按照指定的操作，同步到指定的数据库中。
通过本实施例，提出了一种异构屏蔽的文件结构，通过抽象定义和声明需要同步的对象，给出了异构数据库间进行数据同步时的数据转换方法。解决了相关技术中数据同步方法不能达到足够的安全、高效、准确的问题，通过客户端和服务器的协同，可以方便地实现不同节点间的数据同步，有效地屏蔽了数据库和数据表的异构性；采用XML格式作为同步文件的数据交换格式，较好地解决了在节点异构和数据库异构时因环境不一致和结构冲突等状态下所引起的数据同步失效问题；采用压缩技术和加密技术，减少了分布环境下的数据流量，并提高了数据传输的安全性。
优选地，第一数据转换模块14包括：数据类型转换单元，用于扫描数据结构的变化，对变化的数据结构进行数据类型转换；数据文件生成单元，用于根据设置的同步数据文件结构，将变化的数据按照转换的数据类型生成同步数据文件；其中，同步数据文件采用XML进行定义和声明。
优选地，第二数据转换模块26包括：数据转换单元，用于将同步数据文件中的数据，按照XML定义和声明进行数据转换。
优选地，数据同步模块28包括：语句生成单元，用于将转换后的数据按照其数据操作方式生成对应的SQL语句；数据同步单元，用于采用生成的SQL语句实现数据库操作，执行客户端和服务器之间的数据同步操作。
优选地，服务器20还包括：清理模块，用于在数据同步操作完成后，对数据同步操作过程中产生的临时文件进行清理。
本发明实施例提供了一种云计算环境下异构数据库间的数据同步方法及***，该***其由客户端和服务器两个部分组成，其特征是：(1)客户端和服务器分别都包括同步规则定义、初始化、数据同步、文件处理、文件传输五个部分；(2)同步规则定义异构屏蔽文件结构、同步数据文件、及各种***参数；(3)初始化完成数据库驱动加载、临时文件目录生成和FTP初始化等；(4)在客户端，数据同步实现对指定数据库和数据表的数据变化监测，并根据异构屏蔽文件结构对变化的数据进行数据类型转换，生成同步数据文件；在服务器端，数据同步则根据异构屏蔽文件结构解析客户端传递的同步数据文件，对其中定义的数据进行数据转换，生成对应的SQL语句并执行数据库操作，实现数据同步；(5)在客户端，文件处理实现的是对同步数据文件的压缩和加密操作；在服务器端，文件处理则实现对同步数据文件进行解密和解压处理；(6)在客户端，文件传输则将同步数据文件传输到同步的服务器端；在服务器端，文件传输则是接收所有客户端传输的同步数据文件。
本***通过客户端和服务器的协同，可以方便地实现不同节点间的数据同步，并屏蔽节点间的异构性。***具有操作简单，部署和配置方便，结构灵活，可扩展性好及数据传输安全等特点。
下面通过优选实施例对本发明的技术方案进行介绍。
图3是根据本发明实施例的云计算环境下异构数据库间的数据同步***的结构框架图，如图3所示，数据同步***由数据同步客户端（以下简称客户端）和数据同步服务器端（以下简称服务器）两个部分组成，针对需要进行同步的数据，客户端与服务器双方先协商确定需要进行数据同步的异构屏蔽文件结构。然后，客户端监测扫描指定数据的变化，对变化的数据依照设置的同步数据文件结构进行数据转换，产生同步数据文件。客户端对同步数据文件进行压缩和加密，并将压缩和加密后的同步数据文件采用FTP方式传送到服务器。服务器对接收到的同步数据文件进行解密、解压。依照初始协商的异构屏蔽文件结构进行同步数据文件的解析，并进行数据转换。最后，将转换好的数据按照指定的操作同步到指定的数据库中，完成数据同步。
客户端采用触发方式，根据建立的异构屏蔽文件结构扫描并捕获变化的数据，进行如下处理：（1）扫描数据结构的变化，对变化的数据结构进行数据类型转换。数据类型的转换有效地屏蔽了数据库及数据表的异构性。（2）根据设计的同步数据文件结构，将变化的数据按照转换的数据类型生成一个同步数据文件。该文件采用XML进行定义和声明，这使得该同步数据文件在异构的环境中能够被正确地读取和解析，屏蔽了客户端和服务器间的异构性。（3）客户端对同步数据文件进行数据压缩，降低在网络传输中的数据流量。（4）客户端进一步加密被压缩的同步数据文件，提高数据传输的安全性。（5）最后，客户端采用FTP方式将压缩加密过的同步数据文件传送给对应的目标服务器。
下面对客户端的具体操作流程进行介绍。图4是根据本发明实施例的客户端数据同步工作流程图，如图4所示，该流程包括以下步骤（步骤S402-步骤S434）：
步骤S402，扫面捕获表。
步骤S404，判断是否满足数据同步条件，如果是，则执行步骤S406，如果否，则执行步骤S434。
步骤S406，解析异构屏蔽文件。
步骤S408，扫描变动数据。
步骤S410，循环处理同步数据。
步骤S412，判断是否需要转换字段名称，如果是，则执行步骤S414，如果否，则执行步骤S410。
步骤S414，字段名称转换。
步骤S416，扫描类型转换表。
步骤S418，判断该字段是否需要转换，如果是，则执行步骤S420，如果否，则执行步骤S410。
步骤S420，数据类型转换。
步骤S422，判断是否是最后一个字段，如果是，则执行步骤S424，如果否，则执行步骤S410。
步骤S424，写入数据文件。
步骤S426，对数据文件进行压缩处理。
步骤S428，对数据文件进行加密处理。
步骤S430，使用FTP协议上传文件。
步骤S432，更新捕获表。
步骤S434，程序休眠。
服务器采用FTP实现数据的传输，并监测扫描FTP目录，对接收的同步数据文件进行如下处理：（1）对接收的同步数据文件进行解密并解压。（2）根据与客户端协商的异构屏蔽文件结构解析同步数据文件。（3）将同步数据文件中的数据按照XML定义和声明进行数据转换。（4）将转换后的数据按照其数据操作方式生成对应的SQL语句。（5）采用生成的SQL语句实现数据库操作，从而完成客户端和服务器间的数据同步。（6）在数据同步操作完成后，对同步过程中产生的临时文件进行清理。
下面对服务器的具体操作流程进行介绍。图5是根据本发明实施例的服务器数据同步工作流程图，如图5所示，该流程包括以下步骤（步骤S502-步骤S528）：
步骤S502，扫描FTP服务器目录。
步骤S504，获取已经上传完成的数据文件。
步骤S506，对数据文件进行解密操作。
步骤S508，对数据文件进行解压缩操作。
步骤S510，解析数据文件。
步骤S512，解析文件头（header）。
步骤S514，获取表名（tableName）。
步骤S516，解析数据记录（rec）对象。
步骤S518，获取字段值。
步骤S520，获取变动方式（opt）值。
步骤S522，生成SQL语句。如果opt=D，则表示删除，如果opt=U，则表示更新，如果opt=I，则表示***。
步骤S524，执行数据库操作。
步骤S526，判断是否是最后一条记录，如果是，则执行步骤S528，如果否，则执行步骤S516。
步骤S528，清理文件。
本发明技术方案的优点在于：
（1）***采用客户端/服务器结构，操作简单，可以方便地进行部署和配置，结构灵活，可扩展性好。
（2）***独创性地设计了一种异构屏蔽的文件结构，对需要进行同步的源数据库和数据表进行数据结构、属性名称、数据类型的抽取和结构定义；其对变化的数据结构进行了声明，并给出了异构数据转换时的转换参数，有效地屏蔽了数据库和数据表的异构性。这样，当源数据库和目的数据库之间的异构性发生变化时，只需要更改该异构屏蔽文件，不需要修改程序，其实现了异构性和程序的分离。
（3）采用XML技术设计了一种同步数据文件结构，其能够清晰地反映数据在目的数据库中的数据结构、数据操作及值，便于***进行数据解析，以重组SQL语句，实现数据的同步操作，有效地克服客户端和服务器间的异构性，及源数据库和目的数据库间的异构性。
（4）采用FTP模式，可以并行地实现多个节点间的数据传输，完成多个节点间的数据同步。
（5）采用Gzip进行数据压缩，降低了网络通信流量，减少了数据同步的时间。
（6）采用数据加密技术，满足在数据同步过程中的高安全需求。
（7）***的应用性广泛，也可应用于其它分布式网络***的数据同步。
本发明技术方案提供了一种适用于异构节点间的数据同步***，操作简单，可扩展好，且其通过数据压缩降低了网络流量，并提供了安全的数据传输能力。本发明技术方案还提出了一种异构屏蔽文件结构的设计思路，其通过对目标对象的抽象和定义，以及合理的数据转换方法，有效地屏蔽了异构节点间的数据库和数据表的异构性。本发明技术方案采用XML技术设计了一种同步数据文件结构，其定义和声明了数据的数据结构、数据操作及值，通过数据解析并重组SQL语句，有效地实现了异构节点间的数据同步。
尽管为示例目的，已经公开了本发明的优选实施例，本领域的技术人员将意识到各种改进、增加和取代也是可能的，因此，本发明的范围应当不限于上述实施例。
Claims (10)
1.一种异构数据库间的数据同步方法，其特征在于，所述方法包括：
针对需要进行同步的数据，客户端与服务器协商确定需要进行数据同步的异构屏蔽文件结构；
所述客户端监测扫描指定数据的变化，对变化的数据依照设置的同步数据文件结构进行数据转换，产生同步数据文件；
所述客户端对所述同步数据文件进行压缩和加密，并将压缩和加密后的同步数据文件采用文件传输协议FTP方式传送到所述服务器；
所述服务器对接收到的同步数据文件进行解密、解压；
所述服务器依照与客户端协商的所述异构屏蔽文件结构，进行同步数据文件的解析，并进行数据转换；
所述服务器将转换后的数据按照指定的操作，同步到指定的数据库中。
2.如权利要求1所述的方法，其特征在于，所述客户端监测扫描指定数据的变化，对变化的数据依照设置的同步数据文件结构进行数据转换，产生同步数据文件，包括：
所述客户端扫描数据结构的变化，对变化的数据结构进行数据类型转换；
所述客户端根据设置的同步数据文件结构，将变化的数据按照转换的数据类型生成同步数据文件；其中，所述同步数据文件采用可扩展标记语言XML进行定义和声明。
3.如权利要求1所述的方法，其特征在于，所述服务器进行数据转换包括：
所述服务器将所述同步数据文件中的数据，按照XML定义和声明进行数据转换。
4.如权利要求1所述的方法，其特征在于，所述服务器将转换后的数据按照指定的操作，同步到指定的数据库中，包括：
所述服务器将转换后的数据按照其数据操作方式生成对应的结构化查询语言SQL语句；
所述服务器采用生成的所述SQL语句实现数据库操作，执行所述客户端和所述服务器之间的数据同步操作。
5.如权利要求1所述的方法，其特征在于，所述服务器将转换后的数据按照指定的操作，同步到指定的数据库中之后，所述方法还包括：
在数据同步操作完成后，所述服务器对数据同步操作过程中产生的临时文件进行清理。
6.一种异构数据库间的数据同步***，其特征在于，所述***包括客户端和服务器；其中，
所述客户端包括：
第一结构协商模块，用于与服务器协商确定需要进行数据同步的异构屏蔽文件结构；
第一数据转换模块，用于监测扫描指定数据的变化，对变化的数据依照设置的同步数据文件结构进行数据转换，产生同步数据文件；
文件传送模块，用于对所述同步数据文件进行压缩和加密，并将压缩和加密后的同步数据文件采用文件传输协议FTP方式传送到所述服务器；
所述服务器包括：
第二结构协商模块，用于与客户端协商确定需要进行数据同步的异构屏蔽文件结构；
数据文件处理模块，用于对接收到的同步数据文件进行解密、解压；
第二数据转换模块，用于依照与所述客户端协商的所述异构屏蔽文件结构，进行同步数据文件的解析，并进行数据转换；
数据同步模块，用于将转换后的数据按照指定的操作，同步到指定的数据库中。
7.如权利要求1所述的***，其特征在于，所述第一数据转换模块包括：
数据类型转换单元，用于扫描数据结构的变化，对变化的数据结构进行数据类型转换；
数据文件生成单元，用于根据设置的同步数据文件结构，将变化的数据按照转换的数据类型生成同步数据文件；其中，所述同步数据文件采用可扩展标记语言XML进行定义和声明。
8.如权利要求1所述的***，其特征在于，所述第二数据转换模块包括：
数据转换单元，用于将所述同步数据文件中的数据，按照XML定义和声明进行数据转换。
9.如权利要求1所述的***，其特征在于，所述数据同步模块包括：
语句生成单元，用于将转换后的数据按照其数据操作方式生成对应的结构化查询语言SQL语句；
数据同步单元，用于采用生成的所述SQL语句实现数据库操作，执行所述客户端和所述服务器之间的数据同步操作。
10.如权利要求1所述的***，其特征在于，所述服务器还包括：
清理模块，用于在数据同步操作完成后，对数据同步操作过程中产生的临时文件进行清理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310718250.4A CN103685543A (zh) | 2013-12-23 | 2013-12-23 | 一种异构数据库间的数据同步方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310718250.4A CN103685543A (zh) | 2013-12-23 | 2013-12-23 | 一种异构数据库间的数据同步方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103685543A true CN103685543A (zh) | 2014-03-26 |
Family
ID=50321817
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310718250.4A Pending CN103685543A (zh) | 2013-12-23 | 2013-12-23 | 一种异构数据库间的数据同步方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103685543A (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104298761A (zh) * | 2014-10-23 | 2015-01-21 | 浪潮通用软件有限公司 | 一种异构软件***间主数据匹配的实现方法 |
| CN105279234A (zh) * | 2015-09-24 | 2016-01-27 | 国网山西省电力公司大同供电公司 | 一种输变电设备状态检修数据跨平台数据获取与转换方法 |
| CN105447054A (zh) * | 2014-09-25 | 2016-03-30 | 中兴通讯股份有限公司 | 一种数据库的数据同步方法、装置及*** |
| CN105677885A (zh) * | 2016-01-14 | 2016-06-15 | 大连陆海科技股份有限公司 | 航运业数据同步的收发设备及方法、及同步*** |
| CN105843869A (zh) * | 2016-03-17 | 2016-08-10 | 金蝶软件（中国）有限公司 | 一种数据传输方法、装置及*** |
| CN106227822A (zh) * | 2016-07-22 | 2016-12-14 | 深圳市中润四方信息技术有限公司 | 一种数据分发方法及数据同步*** |
| CN107122361A (zh) * | 2016-02-24 | 2017-09-01 | 阿里巴巴集团控股有限公司 | 数据迁移***和方法 |
| CN109871410A (zh) * | 2019-02-14 | 2019-06-11 | 深圳市盟天科技有限公司 | 一种数据组装入库的方法、装置、服务器、存储介质 |
| CN110113386A (zh) * | 2019-04-16 | 2019-08-09 | 苏州浪潮智能科技有限公司 | 一种mdc数据中心的动力与环境监控***数据同步方法 |
| CN110209731A (zh) * | 2019-04-25 | 2019-09-06 | 深圳壹账通智能科技有限公司 | 数据同步方法、装置、及存储介质、电子装置 |
| CN110362632A (zh) * | 2019-07-22 | 2019-10-22 | 无限极（中国）有限公司 | 一种数据同步方法、装置、设备及计算机可读存储介质 |
| CN110413702A (zh) * | 2019-06-18 | 2019-11-05 | 山谷网安科技股份有限公司 | 异构数据库内外网同步方法、装置及*** |
| CN111209932A (zh) * | 2019-12-24 | 2020-05-29 | 中国电子科技集团公司第三十研究所 | 一种基于多数据源的可动态配置的用户信息引接模型 |
| CN112463382A (zh) * | 2020-12-01 | 2021-03-09 | 中国工商银行股份有限公司 | 一种分布式场景下异构数据加工方法及装置 |
| CN113407621A (zh) * | 2021-05-14 | 2021-09-17 | 福建瑶光智能科技有限公司 | 一种终端设备海图数据与服务器同步的方法、装置及介质 |
| CN115048912A (zh) * | 2022-08-12 | 2022-09-13 | 成都锐菲网络科技有限公司 | 高速公路行车数据共享方法及应用 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102035848A (zh) * | 2010-12-23 | 2011-04-27 | 福建南威软件工程发展有限公司 | 一种共享***间进行数据交换的方法 |
| CN102129478A (zh) * | 2011-04-26 | 2011-07-20 | 广州从兴电子开发有限公司 | 数据库同步方法及*** |
| CN102262662A (zh) * | 2011-07-22 | 2011-11-30 | 浪潮(北京)电子信息产业有限公司 | 实现异构平台下数据库数据迁移的***、装置及方法 |
| CN102542007A (zh) * | 2011-12-13 | 2012-07-04 | 中国电子科技集团公司第十五研究所 | 关系型数据库之间的同步方法及*** |
| CN102567334A (zh) * | 2010-12-15 | 2012-07-11 | 上海杉达学院 | 基于异构数据的办公自动化*** |
| CN103020112A (zh) * | 2012-11-06 | 2013-04-03 | 深圳中兴网信科技有限公司 | 异构数据库同步***和异构数据库同步方法 |
-
2013
- 2013-12-23 CN CN201310718250.4A patent/CN103685543A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102567334A (zh) * | 2010-12-15 | 2012-07-11 | 上海杉达学院 | 基于异构数据的办公自动化*** |
| CN102035848A (zh) * | 2010-12-23 | 2011-04-27 | 福建南威软件工程发展有限公司 | 一种共享***间进行数据交换的方法 |
| CN102129478A (zh) * | 2011-04-26 | 2011-07-20 | 广州从兴电子开发有限公司 | 数据库同步方法及*** |
| CN102262662A (zh) * | 2011-07-22 | 2011-11-30 | 浪潮(北京)电子信息产业有限公司 | 实现异构平台下数据库数据迁移的***、装置及方法 |
| CN102542007A (zh) * | 2011-12-13 | 2012-07-04 | 中国电子科技集团公司第十五研究所 | 关系型数据库之间的同步方法及*** |
| CN103020112A (zh) * | 2012-11-06 | 2013-04-03 | 深圳中兴网信科技有限公司 | 异构数据库同步***和异构数据库同步方法 |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105447054A (zh) * | 2014-09-25 | 2016-03-30 | 中兴通讯股份有限公司 | 一种数据库的数据同步方法、装置及*** |
| CN104298761A (zh) * | 2014-10-23 | 2015-01-21 | 浪潮通用软件有限公司 | 一种异构软件***间主数据匹配的实现方法 |
| CN104298761B (zh) * | 2014-10-23 | 2017-08-25 | 浪潮通用软件有限公司 | 一种异构软件***间主数据匹配的实现方法 |
| CN105279234A (zh) * | 2015-09-24 | 2016-01-27 | 国网山西省电力公司大同供电公司 | 一种输变电设备状态检修数据跨平台数据获取与转换方法 |
| CN105677885A (zh) * | 2016-01-14 | 2016-06-15 | 大连陆海科技股份有限公司 | 航运业数据同步的收发设备及方法、及同步*** |
| CN107122361A (zh) * | 2016-02-24 | 2017-09-01 | 阿里巴巴集团控股有限公司 | 数据迁移***和方法 |
| CN105843869A (zh) * | 2016-03-17 | 2016-08-10 | 金蝶软件（中国）有限公司 | 一种数据传输方法、装置及*** |
| CN106227822A (zh) * | 2016-07-22 | 2016-12-14 | 深圳市中润四方信息技术有限公司 | 一种数据分发方法及数据同步*** |
| CN109871410A (zh) * | 2019-02-14 | 2019-06-11 | 深圳市盟天科技有限公司 | 一种数据组装入库的方法、装置、服务器、存储介质 |
| CN110113386A (zh) * | 2019-04-16 | 2019-08-09 | 苏州浪潮智能科技有限公司 | 一种mdc数据中心的动力与环境监控***数据同步方法 |
| CN110209731A (zh) * | 2019-04-25 | 2019-09-06 | 深圳壹账通智能科技有限公司 | 数据同步方法、装置、及存储介质、电子装置 |
| CN110413702A (zh) * | 2019-06-18 | 2019-11-05 | 山谷网安科技股份有限公司 | 异构数据库内外网同步方法、装置及*** |
| CN110362632A (zh) * | 2019-07-22 | 2019-10-22 | 无限极（中国）有限公司 | 一种数据同步方法、装置、设备及计算机可读存储介质 |
| CN111209932A (zh) * | 2019-12-24 | 2020-05-29 | 中国电子科技集团公司第三十研究所 | 一种基于多数据源的可动态配置的用户信息引接模型 |
| CN112463382A (zh) * | 2020-12-01 | 2021-03-09 | 中国工商银行股份有限公司 | 一种分布式场景下异构数据加工方法及装置 |
| CN112463382B (zh) * | 2020-12-01 | 2024-01-05 | 中国工商银行股份有限公司 | 一种分布式场景下异构数据加工方法及装置 |
| CN113407621A (zh) * | 2021-05-14 | 2021-09-17 | 福建瑶光智能科技有限公司 | 一种终端设备海图数据与服务器同步的方法、装置及介质 |
| CN115048912A (zh) * | 2022-08-12 | 2022-09-13 | 成都锐菲网络科技有限公司 | 高速公路行车数据共享方法及应用 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103685543A (zh) | 一种异构数据库间的数据同步方法及*** | |
| US8966031B2 (en) | Method for addressing management object in management tree and associated device management system | |
| CN102917020B (zh) | 一种基于数据包的移动终端与业务***数据同步的方法 | |
| CN101589384B (zh) | 用于测量svg文档相似性的***和方法 | |
| CN109542865A (zh) | 分布式集群***配置文件同步方法、装置、***及介质 | |
| KR102191986B1 (ko) | 무선 환경에서 다수 개의 서비스 탐색을 제공하는 방법 및 시스템 | |
| CA2615085A1 (en) | Method, apparatus and computer program product providing an application integrated mobile device search solution using context information | |
| CN101567858A (zh) | 一种数据同步的方法和*** | |
| CN102866998A (zh) | 一种同步***中集中式密码管理方法和*** | |
| CN104778285B (zh) | 一种基于xml的web服务***及其工作方法 | |
| CN103248641A (zh) | 网络下载方法、装置及*** | |
| CN102752294B (zh) | 基于设备能力的多终端数据同步方法和*** | |
| KR20110111317A (ko) | 디바이스 관리 데이터 변경들을 추적하기 위한 방법 및 장치 | |
| CN108833569A (zh) | 一种数据同步方法及相关装置 | |
| CN103841180A (zh) | 一种基于操作指令的网络数据同步方法、装置、终端设备和服务器 | |
| CN102026228B (zh) | 通信网络性能数据的统计方法和设备 | |
| CN104205730B (zh) | 网元数据访问方法、虚拟网元、网络管理服务器及网络管理*** | |
| CN103488696A (zh) | Cpe的业务查询方法、装置及***、acs和cpe | |
| CN101980504B (zh) | 数据共享方法、移动终端及服务器 | |
| CN109117127A (zh) | 程序代码生成方法、装置及计算机可读存储介质 | |
| CN101888393A (zh) | 网络环境下基于构件中间件平台的非一致协同***及方法 | |
| CN101751421B (zh) | 视频监控***中数据库不对称同步方法、***及装置 | |
| CN102594874B (zh) | 一种同步处理方法和装置 | |
| CN104243198A (zh) | 一种基于网络配置协议的网络管理方法和*** | |
| CN106649181B (zh) | 一种用于钻完井现场同时集成wits数据和witsml数据的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20140326 |
|
| RJ01 | Rejection of invention patent application after publication |