CN107357791A - 一种数据共享方法及装置 - Google Patents

一种数据共享方法及装置 Download PDF

Info

Publication number
CN107357791A
CN107357791A CN201610305168.2A CN201610305168A CN107357791A CN 107357791 A CN107357791 A CN 107357791A CN 201610305168 A CN201610305168 A CN 201610305168A CN 107357791 A CN107357791 A CN 107357791A
Authority
CN
China
Prior art keywords
data
application system
normal
incremental
application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610305168.2A
Other languages
English (en)
Other versions
CN107357791B (zh
Inventor
童遥
申光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201610305168.2A priority Critical patent/CN107357791B/zh
Priority to PCT/CN2017/079739 priority patent/WO2017193739A1/zh
Publication of CN107357791A publication Critical patent/CN107357791A/zh
Application granted granted Critical
Publication of CN107357791B publication Critical patent/CN107357791B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/176—Support for shared access to files; File sharing support

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种数据共享方法及装置，该方法包括：获取第一应用***的相邻两次备份数据的增量数据；对增量数据进行数据处理，得到预设格式的标准数据；将标准数据发送至与第一应用***关联的第二应用***中。本发明实现了分布式的各个应用***之间的数据对接，将各个***间的信息真正整合起来以进行***间的信息互动，保证数据交互的准确性，解决了分布式环境下数据同步的问题，使原有***的改动可以降到最低，从而可以快速实施和产生效益。

Description

一种数据共享方法及装置
技术领域
本发明涉及数据库领域，特别涉及一种数据共享方法及装置。
背景技术
在企业信息化建设的过程中，由于在建设初期缺乏统一规划，应用***大多是从部门、基层的角度来开发实施，缺乏全局的考虑，使得开发出来的各部门的应用***之间没有统一的数据标准，数据格式各不相同，***之间无法实现有效的数据共享；同一类型的数据存在于多个***中，***之间无法实现数据同步；在实现数据的统一化的进程中，这些信息孤岛无论在使用上还是在维护上都会增加一定的工作量，造成不必要的资源浪费，因此实现各个***之间的自动数据同步，将各个***间的信息真正整合起来以进行***间的信息互动并保持数据的一致性，将是企业信息化建设的一个重点要解决的问题。
保持数据同步的一种传统的做法是企业应用集成(Enterprise ApplicationIntegration，EAI)实现方式，这种实现方式需要各个***对与之交互的***都提供相应的数据接口，开发工作量较大；并且各个应用开发厂商需要各自协调接口规范的讨论工作，接口依赖性较高，实现周期不可控。因此如何解决分布式环境下数据同步的问题，成为云计算数据中心数据同步的过程中亟需解决的问题。
发明内容
本发明提供了一种数据共享方法及装置，其目的是为了解决分布式环境下数据同步的问题。
为了达到上述目的，本发明的实施例提供了一种数据共享方法，包括：
获取第一应用***的相邻两次备份数据的增量数据；
对增量数据进行数据处理，得到预设格式的标准数据；
将标准数据发送至与第一应用***关联的第二应用***中。
优选地，获取第一应用***的相邻两次备份数据的增量数据的步骤包括：
获取第一应用***的相邻两次备份数据中，后备份的数据与前备份的数据相比，新增的数据和/或发生变化的数据。
优选地，获取第一应用***的相邻两次备份数据中，后备份的数据与前备份的数据相比，新增的数据和/或发生变化的数据的步骤包括：
按照第一预设周期定时将第一应用***中的源数据复制到预设的第一应用***的物化视图中，并更新物化视图的物化视图日志；
根据物化视图日志，获取第一应用***的相邻两次备份数据中，后备份的数据与前备份的数据相比，新增的数据和/或发生变化的数据；
建立第一应用***的增量表，将增量数据存储在增量表中。
优选地，对增量数据进行数据处理，得到预设格式的标准数据的步骤包括：
对增量表中的增量数据进行数据格式转换，得到预设格式的标准数据；
将标准数据存储在主题库中，并将数据格式转换的时间记录在物化视图日志中。
优选地，将标准数据存储在主题库中的步骤之后，该方法还包括：
将与标准数据相对应的增量数据存储在主题库中。
优选地，将标准数据发送至与第一应用***关联的第二应用***中的步骤包括：
当接收到的第二应用***的数据查询请求中的会话号中的目标查询对象为第一应用***时，将标准数据发送至与第一应用***通过会话号关联的第二应用***中；或者
按照第一预设周期定时生成数据同步请求的会话号，根据预设的第一应用***和第二应用***的对应关系，将标准数据发送至与第一应用***关联的第二应用***中；其中，数据同步请求的会话号中的目标同步对象为与第一应用***通过会话号相关联的第二应用***。
优选地，将标准数据发送至与第一应用***关联的第二应用***中的步骤之后，该方法还包括：
清除增量表。
为了实现上述目的，本发明的实施例还提供了一种数据共享装置，包括：
获取模块，用于获取第一应用***的相邻两次备份数据的增量数据；
处理模块，用于对增量数据进行数据处理，得到预设格式的标准数据；
发送模块，用于将标准数据发送至与第一应用***关联的第二应用***中。
优选地，获取模块包括：
获取子模块，用于获取第一应用***的相邻两次备份数据中，后备份的数据与前备份的数据相比，新增的数据和/或发生变化的数据。
优选地，获取子模块包括：
复制单元，用于按照第一预设周期定时将第一应用***中的源数据复制到预设的第一应用***的物化视图中，并更新物化视图的物化视图日志；
获取单元，用于根据物化视图日志，获取第一应用***的相邻两次备份数据中，后备份的数据与前备份的数据相比，新增的数据和/或发生变化的数据；
存储单元，用于建立第一应用***的增量表，将增量数据存储在增量表中。
优选地，处理模块包括：
转换子模块，用于对增量表中的增量数据进行数据格式转换，得到预设格式的标准数据；
记录子模块，用于将标准数据存储在主题库中，并将数据格式转换的时间记录在物化视图日志中。
优选地，处理模块还包括：
存储子模块，用于将与标准数据相对应的增量数据存储在主题库中。
优选地，发送模块包括：
第一发送子模块，用于当接收到的第二应用***的数据查询请求中的会话号中的目标查询对象为第一应用***时，将标准数据发送至与第一应用***通过会话号关联的第二应用***中；或者
第二发送子模块，用于按照第一预设周期定时生成数据同步请求的会话号，根据预设的第一应用***和第二应用***的对应关系，将标准数据发送至与第一应用***关联的第二应用***中；其中，数据同步请求的会话号中的目标同步对象为与第一应用***通过会话号相关联的第二应用***。
优选地，该装置还还包括：
清除模块，用于在发送模块将标准数据发送至与第一应用***关联的第二应用***中之后，
清除增量表。
本发明的上述方案至少包括以下有益效果：
本发明提供的数据共享方法及装置，通过获取增量数据并为增量数据建立增量表，第一应用***数据的改动首先反映到增量表中；对增量数据进行数据格式转换，形成统一格式的标准数据，以克服不同应用***间的格式差异问题；为标准数据建立主题库，并下发至相关联的第二应用***，提高数据共享的实时性；本发明实现了分布式的各个应用***之间的数据对接，将各个***间的信息真正整合起来以进行***间的信息互动，保证数据交互的准确性；当根据业务需求需要为新的应用***提供数据支持服务时，只需获取本发明实施例中的标准数据即可。本发明解决了分布式环境下数据同步的问题，使原有***的改动可以降到最低，从而可以快速实施和产生效益。
附图说明
图1表示本发明的第一实施例提供的数据共享方法的基本步骤流程图；
图2表示本发明的第二实施例的场景示意图之一；
图3表示本发明的第二实施例的场景示意图之二；
图4表示本发明的第二实施例提供的共享数据中心的结构示意图；
图5表示本发明的第二实施例的应用***或用户访问共享数据中心的基本步骤流程图；
图6表示本发明的第三实施例提供的数据共享装置的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明针对现有的问题，提供了一种数据共享方法及装置。
第一实施例
参见图1，本发明的第一实施例提供了一种数据共享方法，包括：
步骤101，获取第一应用***的相邻两次备份数据的增量数据。
其中，增量数据包括新增的数据和/或发生变化的数据。实现数据共享需将各个应用***的数据进行统一管理，为了减少数据冗余，只需获取第一应用***的相邻两次备份数据中的增量数据即可。
步骤102，对增量数据进行数据处理，得到预设格式的标准数据。
其中，标准数据即针对数据仓库建立的统一模型，通过库函数、自定义脚本等方式来实现将数据从业务模型到分析模型的转换，得到的最终结果是对外提供的符合规范的数据；由于分布式的各个应用***之间没有统一的数据标准，数据格式各不相同，***之间无法实现有效的数据共享，为了便于统一管理，将各个应用***的数据进行数据处理，转换成统一格式的数据。
步骤103，将标准数据发送至与第一应用***关联的第二应用***中。
其中，将与第一应用***的增量数据对应的标准数据发送至与第一应用***关联的第二应用***中，以实现与分布式的各个应用***之间的数据对接，将各个***间的信息真正整合起来以进行***间的信息互动，保证数据交互的准确性；当根据业务需求需要为新的应用***提供数据支持服务时，只需获取本发明实施例中的标准数据即可。
具体地，步骤101包括：
获取第一应用***的相邻两次备份数据中，后备份的数据与前备份的数据相比，新增的数据和/或发生变化的数据。
其中，需要获取的是后备份的数据与前备份的数据相比，新增的数据和/或发生变化的数据，即增量数据；且变化数据中需要向相关联的应用***同步的时变化后得到的数据，即后备份的数据。
优选地，获取第一应用***的相邻两次备份数据中，后备份的数据与前备份的数据相比，新增的数据和/或发生变化的数据的步骤包括：
第一步，按照第一预设周期定时将第一应用***中的源数据复制到预设的第一应用***的物化视图中，并更新物化视图的物化视图日志。
其中，物化视图是远程数据的本地副本，按照第一预设周期定时将第一应用***中的源数据复制到预设的物化视图中，并将每次复制源数据的时间记录到物化视图日志中，便于对分布式的应用***进行统一管理以及数据查询。
第二步，根据物化视图日志，获取第一应用***的相邻两次备份数据中，后备份的数据与前备份的数据相比，新增的数据和/或发生变化的数据。
其中，在获取增量数据的过程中，通过查询物化视图日志中的每次复制源数据的时间记载，获取相邻两次备份数据中的增量数据。
第三步，建立第一应用***的增量表，将增量数据存储在增量表中。
其中，为第一应用***建立增量表，用于临时存储增量数据。
具体地，步骤102包括：
第一步，对增量表中的增量数据进行数据格式转换，得到预设格式的标准数据。
其中，对增量表中的增量数据进行数据格式转换以得到统一格式的标准数据。
第二步，将标准数据存储在主题库中，并将数据格式转换的时间记录在物化视图日志中。
其中，将标准数据存储在主题库中以便于对分布式的各个应用***的增量数据对应的标准数据进行统一的存储与管理维护。主题库中保存的是统一格式的标准数据，用于向其他应用***下发待同步的标准数据，通过主题库实现与分布式的各个应用***之间的数据对接，保证数据交互的准确性。
进一步地，上述第二步中将标准数据存储在主题库中的步骤之后包括：
将与标准数据相对应的增量数据存储在主题库中。
其中，将增量数据存储在主题库中，需要说明的是，增量数据与标准数据需要相对应存储；增量数据与标准数据相当于交互数据的存根，便于查询和管理，保证数据在各个***之间的准确性和唯一性。
优选地，步骤103包括：
当接收到的第二应用***的数据查询请求中的会话号中的目标查询对象为第一应用***时，将标准数据发送至与第一应用***通过会话号关联的第二应用***中；
其中，当接收到的第二应用***的数据查询请求时，数据查询请求中会携带会话号，会话号中包含目标查询对象，当第二应用***的目标查询对象是第一应用***时，将标准数据发送至第二应用***。
或者
按照第一预设周期定时生成数据同步请求的会话号，根据预设的第一应用***和第二应用***的对应关系，将标准数据发送至与第一应用***关联的第二应用***中；其中，数据同步请求的会话号中的目标同步对象为与第一应用***通过会话号相关联的第二应用***。
其中，定期生成数据同步请求，并根据预先设置的应用***间的对应关系将第二应用***作为数据同步请求的会话号中的目标同步对象并将标准数据发送至第二应用***。
需要说明的是，标准数据发送之第二应用***之前，需要根据第二应用***的数据格式对标准数据进行数据格式转换。
优选地，步骤103之后，该方法还包括：
清除增量表。
其中，在数据同步完成后，增量数据已经无效，及时清除便于清理内存。
本发明的上述实施例中，通过获取增量数据并为增量数据建立增量表，第一应用***数据的改动首先反映到增量表中；对增量数据进行数据格式转换，形成统一格式的标准数据，以克服不同应用***间的格式差异问题；为标准数据建立主题库，并下发至相关联的第二应用***，提高数据共享的实时性；本发明实现了分布式的各个应用***之间的数据对接，将各个***间的信息真正整合起来以进行***间的信息互动，保证数据交互的准确性；当根据业务需求需要为新的应用***提供数据支持服务时，只需获取本发明实施例中的标准数据即可。本发明解决了分布式环境下数据同步的问题，使原有***的改动可以降到最低，从而可以快速实施和产生效益。
第二实施例
参见图2，第二实施例提供了一个基于企业服务总线(ESB)的共享数据中心的具体实施例。其中，共享数据中心包括Web服务层、企业服务总线、服务层、显示层、逻辑层、持久层以及共享数据库；
其中，Web服务层为其他应用***提供访问数据服务，包括对共享数据中心数据同步的一些操作；展示层则完成对共享数据中心的管理，这包括元数据的管理、***日常维护等方面的功能。
共享数据库中包含两部分的数据，交互数据的存根以及共享数据中心的元数据。交互数据存根主要是保证数据在各个***间的准确性和唯一性，而数据则是对共享数据中心模型的定义和管理，它保证了共享数据中心的正常运作，出于安全性的考虑，共享数据中心不提供对数据的查询修改等功能，避免造成数据异常，导致各个***出现问题。
参见图3，共享数据中心最主要的功能就是实现数据共享，即数据的同步和交换。共享数据中心将应用***的数据复制到数据交换区，在对交换区的数据进行清洗和转换之后保存到主题库中，然后再分发到各个应用***。共享数据中心分为两个主要部分：数据交换区和主题库。
一、数据交换区
共享数据中心为每个应用***创建一个数据库用户，这个用户所拥有的资源称为数据交换区，该用户下存在以下几种类型的对象：
(1)物化视图，物化视图是远程数据的本地副本，在数据交换区中根据应用***数据库需要导入的表创建相应的物化视图，并且根据需要在ESB总线中定时对这些视图进行刷新，比如通过QuartZ(一种任务调度框架，专用于并发任务的调度)的方式启动定时刷新任务。
(2)物化视图日志，物化视图日志根据不同物化视图的快速刷新的需要，可以建立为唯一标识一个物理地址(ROWID)或主关键字(PRIMARY KEY)类型的，还可以选择是否包括指定列的列表等。
(3)增量表，进行数据清洗之前，会先根据物化视图日志查询出从上次清洗到当前时间为止发生变化的数据，然后将这些数据保存到增量表中等待进行清洗。
(4)待传送数据，当应用***的数据经过清洗后除了保存到主题库外，还要将相应的记录分发到其它应用***对应的待传送数据中，由传送任务将这些表的数据传送到相应的应用***。
二、主题库
主题库是共享数据中心的核心区域，保存的是应用***经过清洗后的数据，其中，本发明实施例中的清洗，也可以理解为转换，即针对数据仓库建立的模型，通过库函数、自定义脚本等方式来实现将数据从业务模型到分析模型的转换，得到的最终结果是对外提供的符合规范的数据，也就是最终的共享数据中心数据。
继续参见图2与图3，共享数据中心的数据导入(或叫数据复制)、清洗、分发这一系列的动作是通过ESB总线来调度的，包括四个主要步骤：
步骤一，复制应用***数据，将应用***新增的或发生了变化的数据(即增量数据)导入到共享数据中心数据交换区的相应增量表中，其中，这个步骤可以通过应用***调用共享数据中心Web-Service来完成，也可以通过共享数据中心的QuartZ启动定时任务从物化视图中获取。
步骤二，数据清洗，数据清洗是将临时数据存储转入主题库的过程，此阶段由ESB的统一消息对象(Universal Message Objects，UMO)调用存储过程来实现，因此该模块主要生成临时数据存储转入中心数据存储的数据清洗存储过程。
具体地，有两种方式启动数据清洗任务，一种是将清洗任务配置为OutBound，当通过WebService或QuarZ任务导入数据后，ESB总线立即激发相应的数据包出向管理模块(OutBound)来进行数据清洗，在这个过程中数据清洗任务是被动执行的(被动触发场景，由别的应用***来调用WebService服务将请求内容、请求数据格式传上来，再由共享数据中心将应答内容来清洗或转换成要求的数据格式)，对实时性要求比较高的数据一般采用此种方式；另外一种是将数据清洗任务配置在QuartZ中，将QuartZ任务作为数据包入向管理模块(InBound)来定时启动。
三、将清洗后的数据从主题库分发到数据交换区(主题库是数据库，需要将清洗后的数据取出到数据交换区)，清洗后的数据一方面要更新到共享数据中心的主题库中，另外还要分发到需要这些数据的各应用***的待传送数据表中，分发完毕后删除对应***的增量表。
四、将数据交换区的数据传送到应用***，将共享数据中心数据交换区的待传送数据更新到应用***的数据库中。
参见图4，本发明的共享数据中心的结构共分为三层，分别为数据层、服务层和应用层，功能分别如下：
(1)数据层，数据层是***的最底层，负责根据共享数据中心提供数据的行为进行描述封装成服务，然后将服务注册到服务注册中心，当服务被调用的时候，数据库执行相应的行为，并将结果返回上一层。
其中，企业服务总线的作用是负责将数据源中提供数据的行为描述封装为服务；当服务被***调用时，负责激活数据源中相应的行为，并返回结果。服务注册中心的作用是根据数据中心提交的服务描述将服务注册。
(2)服务层，服务层负责从上一层接受查询请求，并根据已有的服务注册信息将请求调用相应服务并传递给上一层。
SOAP路由器负责将请求与数据中心的服务进行映射。如果有对应的服务，就发送请求消息进行调用；如果没有对应的消息，则要向应用程序说明请求无法执行。当发送了请求消息后，SOAP路由器接受企业服务总线返回的结果并将传递给应用程序。
(3)应用层，应用层是最顶层，为外部应用***提供访问接口。
参见图5，应用***或用户访问共享数据中心的基本步骤流程如图所示：
应用程序根据需要提出请求；
请求与服务注册中心中注册的服务相匹配，并将结果记录；
SOAP路由器根据请求的调用向共享数据中心发出服务调用请求SOAP路由器就是一个SOAP消息透传作用；
企业服务总线接收到服务请求，激活服务，获取执行后的结果，将结果返回给SOAP路由器；
SOAP路由器将收到的调用结果打包成为SOAP消息，传递给应用程序。
本发明的上述实施例中，基于ESB的共享数据中心满足了数据传输的实时性和共享数据中心与各应用***之间的低耦合性和可扩展性的要求，整理现有***的数据，将存在于各个信息孤岛中的脏数据逐步清除，确保共享数据中心中数据的权威性；通过共享数据中心完成与已有应用***的数据对接，保证这些***之间核心数据交互的正确性；根据业务需求，为未来的应用***提供数据支持服务，即新加入的***仅需要通过数据中心提供的服务即可实现与现有***的数据同步。
第三实施例
参见图6，本发明的第三实施例提供了一种数据共享装置，包括：
获取模块601，用于获取第一应用***的相邻两次备份数据的增量数据；
处理模块602，用于对增量数据进行数据处理，得到预设格式的标准数据；
发送模块603，用于将标准数据发送至与第一应用***关联的第二应用***中。
优选地，获取模块601包括：
获取子模块，用于获取第一应用***的相邻两次备份数据中，后备份的数据与前备份的数据相比，新增的数据和/或发生变化的数据。
优选地，获取子模块包括：
复制单元，用于按照第一预设周期定时将第一应用***中的源数据复制到预设的第一应用***的物化视图中，并更新物化视图的物化视图日志；
获取单元，用于根据物化视图日志，获取第一应用***的相邻两次备份数据中，后备份的数据与前备份的数据相比，新增的数据和/或发生变化的数据；
存储单元，用于建立第一应用***的增量表，将增量数据存储在增量表中。
优选地，处理模块602包括：
转换子模块，用于对增量表中的增量数据进行数据格式转换，得到预设格式的标准数据；
记录子模块，用于将标准数据存储在主题库中，并将数据格式转换的时间记录在物化视图日志中。
优选地，处理模块602还包括：
存储子模块，用于将与标准数据相对应的增量数据存储在主题库中。
优选地，发送模块603包括：
第一发送子模块，用于当接收到的第二应用***的数据查询请求中的会话号中的目标查询对象为第一应用***时，将标准数据发送至与第一应用***通过会话号关联的第二应用***中；或者
第二发送子模块，用于按照第一预设周期定时生成数据同步请求的会话号，根据预设的第一应用***和第二应用***的对应关系，将标准数据发送至与第一应用***关联的第二应用***中；其中，数据同步请求的会话号中的目标同步对象为与第一应用***通过会话号相关联的第二应用***。
优选地，该装置还包括：
清除模块，用于在发送模块603将标准数据发送至与第一应用***关联的第二应用***中之后，
清除增量表。
本发明的上述实施例中，通过获取模块601获取增量数据并为增量数据建立增量表，第一应用***数据的改动首先反映到增量表中；处理模块602对增量数据进行数据格式转换，形成统一格式的标准数据，以克服不同应用***间的格式差异问题；为标准数据建立主题库，通过发送模块603下发至相关联的第二应用***，提高数据共享的实时性；本发明实现了分布式的各个应用***之间的数据对接，将各个***间的信息真正整合起来以进行***间的信息互动，保证数据交互的准确性；当根据业务需求需要为新的应用***提供数据支持服务时，只需获取本发明实施例中的标准数据即可。本发明解决了分布式环境下数据同步的问题，使原有***的改动可以降到最低，从而可以快速实施和产生效益。
需要说明的是，本发明实施例提供的数据共享装置是应用上述方法的装置，即上述方法的所有实施例均适用于该装置，且均能达到相同或相似的有益效果。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (14)

1.一种数据共享方法，其特征在于，包括：
获取第一应用***的相邻两次备份数据的增量数据；
对所述增量数据进行数据处理，得到预设格式的标准数据；
将所述标准数据发送至与所述第一应用***关联的第二应用***中。
2.根据权利要求1所述的数据共享方法，其特征在于，所述获取第一应用***的相邻两次备份数据的增量数据的步骤包括：
获取第一应用***的相邻两次备份数据中，后备份的数据与前备份的数据相比，新增的数据和/或发生变化的数据。
3.根据权利要求2所述的数据共享方法，其特征在于，所述获取第一应用***的相邻两次备份数据中，后备份的数据与前备份的数据相比，新增的数据和/或发生变化的数据的步骤包括：
按照第一预设周期定时将第一应用***中的源数据复制到预设的所述第一应用***的物化视图中，并更新所述物化视图的物化视图日志；
根据所述物化视图日志，获取第一应用***的相邻两次备份数据中，后备份的数据与前备份的数据相比，新增的数据和/或发生变化的数据；
建立所述第一应用***的增量表，将所述增量数据存储在所述增量表中。
4.根据权利要求3所述的数据共享方法，其特征在于，所述对所述增量数据进行数据处理，得到预设格式的标准数据的步骤包括：
对所述增量表中的增量数据进行数据格式转换，得到预设格式的标准数据；
将所述标准数据存储在主题库中，并将所述数据格式转换的时间记录在所述物化视图日志中。
5.根据权利要求4所述的数据共享方法，其特征在于，所述将所述标准数据存储在主题库中的步骤之后包括：
将与所述标准数据相对应的增量数据存储在主题库中。
6.根据权利要求1所述的数据共享方法，其特征在于，所述将所述标准数据发送至与所述第一应用***关联的第二应用***中的步骤包括：
当接收到的第二应用***的数据查询请求中的会话号中的目标查询对象为所述第一应用***时，将所述标准数据发送至与所述第一应用***通过所述会话号关联的第二应用***中；或者
按照第一预设周期定时生成数据同步请求的会话号，根据预设的第一应用***和第二应用***的对应关系，将所述标准数据发送至与所述第一应用***关联的第二应用***中；其中，所述数据同步请求的会话号中的目标同步对象为与所述第一应用***通过会话号相关联的第二应用***。
7.根据权利要求3所述的数据共享方法，其特征在于，所述将所述标准数据发送至与所述第一应用***关联的第二应用***中的步骤之后，还包括：
清除所述增量表。
8.一种数据共享装置，其特征在于，包括：
获取模块，用于获取第一应用***的相邻两次备份数据的增量数据；
处理模块，用于对所述增量数据进行数据处理，得到预设格式的标准数据；
发送模块，用于将所述标准数据发送至与所述第一应用***关联的第二应用***中。
9.根据权利要求8所述的数据共享装置，其特征在于，所述获取模块包括：
获取子模块，用于获取第一应用***的相邻两次备份数据中，后备份的数据与前备份的数据相比，新增的数据和/或发生变化的数据。
10.根据权利要求9所述的数据共享装置，其特征在于，所述获取子模块包括：
复制单元，用于按照第一预设周期定时将第一应用***中的源数据复制到预设的所述第一应用***的物化视图中，并更新所述物化视图的物化视图日志；
获取单元，用于根据所述物化视图日志，获取第一应用***的相邻两次备份数据中，后备份的数据与前备份的数据相比，新增的数据和/或发生变化的数据；
存储单元，用于建立所述第一应用***的增量表，将所述增量数据存储在所述增量表中。
11.根据权利要求10所述的数据共享装置，其特征在于，所述处理模块包括：
转换子模块，用于对所述增量表中的增量数据进行数据格式转换，得到预设格式的标准数据；
记录子模块，用于将所述标准数据存储在主题库中，并将所述数据格式转换的时间记录在所述物化视图日志中。
12.根据权利要求11所述的数据共享装置，其特征在于，所述处理模块还包括：
存储子模块，用于将与所述标准数据相对应的增量数据存储在主题库中。
13.根据权利要求8所述的数据共享装置，其特征在于，所述发送模块包括：
第一发送子模块，用于当接收到的第二应用***的数据查询请求中的会话号中的目标查询对象为所述第一应用***时，将所述标准数据发送至与所述第一应用***通过所述会话号关联的第二应用***中；或者
第二发送子模块，用于按照第一预设周期定时生成数据同步请求的会话号，根据预设的第一应用***和第二应用***的对应关系，将所述标准数据发送至与所述第一应用***关联的第二应用***中；其中，所述数据同步请求的会话号中的目标同步对象为与所述第一应用***通过会话号相关联的第二应用***。
14.根据权利要求11所述的数据共享装置，其特征在于，还包括：
清除模块，用于在所述发送模块将所述标准数据发送至与所述第一应用***关联的第二应用***中之后，清除所述增量表。
CN201610305168.2A 2016-05-10 2016-05-10 一种数据共享方法及装置 Active CN107357791B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610305168.2A CN107357791B (zh) 2016-05-10 2016-05-10 一种数据共享方法及装置
PCT/CN2017/079739 WO2017193739A1 (zh) 2016-05-10 2017-04-07 一种数据共享方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610305168.2A CN107357791B (zh) 2016-05-10 2016-05-10 一种数据共享方法及装置

Publications (2)

Publication Number Publication Date
CN107357791A true CN107357791A (zh) 2017-11-17
CN107357791B CN107357791B (zh) 2021-10-15

Family

ID=60266887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610305168.2A Active CN107357791B (zh) 2016-05-10 2016-05-10 一种数据共享方法及装置

Country Status (2)

Country Link
CN (1) CN107357791B (zh)
WO (1) WO2017193739A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108388615A (zh) * 2018-02-09 2018-08-10 杭州数梦工场科技有限公司 一种数据交换方法、***以及电子设备
CN108897880A (zh) * 2018-07-05 2018-11-27 南方电网科学研究院有限责任公司 一种电能量数据共享方法及***
CN110287255A (zh) * 2019-05-23 2019-09-27 深圳壹账通智能科技有限公司 基于用户行为的数据共享方法、装置及计算机设备
CN112825072A (zh) * 2019-11-21 2021-05-21 青岛海信移动通信技术股份有限公司 通信终端以及数据共享方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537558B (zh) * 2021-06-03 2024-06-04 广州快批信息科技有限公司 物料需求自动向上游同步的处理方法、装置及终端设备
CN114079668B (zh) * 2022-01-20 2022-04-08 檀沐信息科技(深圳)有限公司 基于互联网大数据的信息采集整理方法及***
CN116633691B (zh) * 2023-07-24 2023-10-27 四川航天天盛科技有限公司 一种基于SaaS的云平台***及其数据存储方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6532520B1 (en) * 1999-09-10 2003-03-11 International Business Machines Corporation Method and apparatus for allocating data and instructions within a shared cache
US20060059140A1 (en) * 2004-09-14 2006-03-16 Logical Information Machines, Inc. Correcting data warehouse with prioritized processing for integrity and throughput
CN101266606A (zh) * 2007-03-15 2008-09-17 阿里巴巴公司 一种基于Oracle数据库的在线数据迁移方法
CN101674495A (zh) * 2009-10-20 2010-03-17 中兴通讯股份有限公司 数据容灾预处理方法及装置
CN102508835A (zh) * 2011-09-22 2012-06-20 用友软件股份有限公司 基于日志管理包的增量数据实时同步装置和方法
CN102693324A (zh) * 2012-01-09 2012-09-26 西安电子科技大学 一种分布式数据库同步***、同步方法和节点管理方法
CN103136231A (zh) * 2011-11-25 2013-06-05 ***通信集团江苏有限公司 一种异构数据库间的数据同步方法及***
CN103617585A (zh) * 2013-11-06 2014-03-05 梧州学院 一种基于共享数据平台的数据处理方法
US20140067921A1 (en) * 2010-06-07 2014-03-06 Salesforce.Com, Inc. System, method and computer program product for performing a synchronization of data
US20150347250A1 (en) * 2014-05-30 2015-12-03 Altibase Corp. Database management system for providing partial re-synchronization and partial re-synchronization method of using the same
CN105183860A (zh) * 2015-09-10 2015-12-23 北京京东尚科信息技术有限公司 数据同步方法和***
US20160004871A1 (en) * 2014-07-07 2016-01-07 Qualcomm Incorporated Method and apparatus for incrementally sharing greater amounts of information between user devices
CN105338078A (zh) * 2015-10-26 2016-02-17 北京百度网讯科技有限公司 用于存储***的数据存储方法和装置
CN105447083A (zh) * 2015-11-06 2016-03-30 深圳市中润四方信息技术有限公司 一种多源异构数据库数据聚散方法及***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105677384A (zh) * 2015-12-28 2016-06-15 上海爱数信息技术股份有限公司 支持不同应用***间同步组织和用户信息的***

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6532520B1 (en) * 1999-09-10 2003-03-11 International Business Machines Corporation Method and apparatus for allocating data and instructions within a shared cache
US20060059140A1 (en) * 2004-09-14 2006-03-16 Logical Information Machines, Inc. Correcting data warehouse with prioritized processing for integrity and throughput
CN101266606A (zh) * 2007-03-15 2008-09-17 阿里巴巴公司 一种基于Oracle数据库的在线数据迁移方法
CN101674495A (zh) * 2009-10-20 2010-03-17 中兴通讯股份有限公司 数据容灾预处理方法及装置
US20140067921A1 (en) * 2010-06-07 2014-03-06 Salesforce.Com, Inc. System, method and computer program product for performing a synchronization of data
CN102508835A (zh) * 2011-09-22 2012-06-20 用友软件股份有限公司 基于日志管理包的增量数据实时同步装置和方法
CN103136231A (zh) * 2011-11-25 2013-06-05 ***通信集团江苏有限公司 一种异构数据库间的数据同步方法及***
CN102693324A (zh) * 2012-01-09 2012-09-26 西安电子科技大学 一种分布式数据库同步***、同步方法和节点管理方法
CN103617585A (zh) * 2013-11-06 2014-03-05 梧州学院 一种基于共享数据平台的数据处理方法
US20150347250A1 (en) * 2014-05-30 2015-12-03 Altibase Corp. Database management system for providing partial re-synchronization and partial re-synchronization method of using the same
US20160004871A1 (en) * 2014-07-07 2016-01-07 Qualcomm Incorporated Method and apparatus for incrementally sharing greater amounts of information between user devices
CN105183860A (zh) * 2015-09-10 2015-12-23 北京京东尚科信息技术有限公司 数据同步方法和***
CN105338078A (zh) * 2015-10-26 2016-02-17 北京百度网讯科技有限公司 用于存储***的数据存储方法和装置
CN105447083A (zh) * 2015-11-06 2016-03-30 深圳市中润四方信息技术有限公司 一种多源异构数据库数据聚散方法及***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHENDI YU ET AL: "Make Driver Agent More Reserved: An AIM-Based Incremental Data Synchronization Policy", 《2013 IEEE 9TH INTERNATIONAL CONFERENCE ON MOBILE AD-HOC AND SENSOR NETWORKS》 *
王汉文等: "智慧校园数据共享平台的设计与实现", 《中国教育网络》 *
郝平 等: "一种移动网络下基于双时间戳的数据增量同步研究", 《计算机应用与软件》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108388615A (zh) * 2018-02-09 2018-08-10 杭州数梦工场科技有限公司 一种数据交换方法、***以及电子设备
CN108897880A (zh) * 2018-07-05 2018-11-27 南方电网科学研究院有限责任公司 一种电能量数据共享方法及***
CN110287255A (zh) * 2019-05-23 2019-09-27 深圳壹账通智能科技有限公司 基于用户行为的数据共享方法、装置及计算机设备
CN112825072A (zh) * 2019-11-21 2021-05-21 青岛海信移动通信技术股份有限公司 通信终端以及数据共享方法

Also Published As

Publication number Publication date
WO2017193739A1 (zh) 2017-11-16
CN107357791B (zh) 2021-10-15

Similar Documents

Publication Publication Date Title
CN107357791A (zh) 一种数据共享方法及装置
CN106559488B (zh) 一种建立租户驱动的电网地理信息空间服务的方法
US9430264B2 (en) System and method for managing resources in virtualized environment based on resource state information and policy information
CN102246152B (zh) 保存程序执行状态
CN104169881B (zh) 用于服务器集群应用程序虚拟化的***和方法
CN104636077B (zh) 用于虚拟机的网络块设备存储***与方法
CN102262680B (zh) 一种基于海量数据存取需求的分布式数据库代理***
CN102281330B (zh) 用于saas平台的数据存储、通讯访问及控制的方法
CN107038162A (zh) 基于数据库日志的实时数据查询方法和***
CN102882927A (zh) 一种云存储数据同步框架及其实现方法
CN109889575A (zh) 一种边缘环境下的协同计算平台***及方法
CN102262674A (zh) 一种分布式内存数据库的数据同步方法及***
CN100371900C (zh) 数据同步的方法和***
CN103957270B (zh) 一种云原子单元投递与部署的方法及装置
CN103827832B (zh) 用于在事务中间件机器环境中持久化事务记录的***与方法
CN106980678A (zh) 基于zookeeper技术的数据分析方法及***
CN101535965A (zh) 用于提高存储管理***的可伸缩性和可移植性的技术
CN109547512A (zh) 一种基于NoSQL的分布式Session管理的方法及装置
CN103049482B (zh) 一种分布式异构***中数据融合存储的实现方法
CN108763234A (zh) 一种数据实时同步方法及***
CN100562014C (zh) 分布式主动Web服务注册信息管理***及其实现方法
CN114650320B (zh) 任务调度方法、装置、存储介质及电子设备
CN103744365B (zh) 用于客房控制终端与上位机通讯的桥接模块及其方法
US20070179929A1 (en) System and method for producing data replica
CN102790788B (zh) 一种网格资源管理***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant