CN113220791A - 一种数据级联同步***及方法 - Google Patents

一种数据级联同步***及方法 Download PDF

Info

Publication number
CN113220791A
CN113220791A CN202110617953.2A CN202110617953A CN113220791A CN 113220791 A CN113220791 A CN 113220791A CN 202110617953 A CN202110617953 A CN 202110617953A CN 113220791 A CN113220791 A CN 113220791A
Authority
CN
China
Prior art keywords
synchronization
database
data
message queue
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110617953.2A
Other languages
English (en)
Other versions
CN113220791B (zh
Inventor
邓楠轶
吕珍珍
王文庆
杨东
高原英
崔逸群
刘超飞
毕玉冰
董夏昕
朱博迪
介银娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Thermal Power Research Institute Co Ltd
Original Assignee
Xian Thermal Power Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Thermal Power Research Institute Co Ltd filed Critical Xian Thermal Power Research Institute Co Ltd
Priority to CN202110617953.2A priority Critical patent/CN113220791B/zh
Publication of CN113220791A publication Critical patent/CN113220791A/zh
Application granted granted Critical
Publication of CN113220791B publication Critical patent/CN113220791B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Bioethics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Hardware Redundancy (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据级联同步的***与方法，该***包括数据库同步模块、消息队列和级间同步模块，同步源***数据库的操作被数据库同步模块捕获并发送到消息队列的指定主题中，级间同步模块从消息队列中获取数据库操作，分析操作中包含的数据，将要同步给不同目的***的数据分发在消息队列不同的主题中，同步目的***的级间同步模块从消息队列的特定主题中获取同步给自己的数据库操作，并将其写入本***数据库中；本发明***及方法可以按照业务的需求将不需要同步的数据丢弃，将需要同步的数据按照配置，分发给不同的同步目的***中。

Description

一种数据级联同步***及方法
技术领域
本发明涉及数据处理技术领域，特别是涉及一种数据级联同步***及方法。
背景技术
传统的信息***如果涉及了多层级的组织机构，一般会采用集中式部署，即在顶级机构中部署一套***给所有的组织机构提供服务。在这种部署方式下，如果上级组织机构与下级组织机构的网络断开，会导致下级机构无法使用在上级机构中部署的信息***提供的服务。为了满足在断网情况下不影响使用的需求，需要将***进行分级部署，即在需要保障可用性的机构中均部署一套信息***，与上级***进行数据同步。目前已有的数据同步技术，都是对数据的全量同步，使用这些同步技术会导致在分级部署的信息***在同步时，上级***将不属于下级***的数据与需要同步的数据一并同步给下级***，一方面造成网络带宽的浪费，另一方面也会造成数据的泄露。
发明内容
为了克服上述现有技术存在的问题，本发明的目的在于提供了一种数据级联同步***与方法，可根据业务需求的配置，将属于不同目的***的数据分别进行同步，节省了网络带宽，保护数据安全。
为了达到上述目的，本发明采用如下技术方案：
一种数据级联同步***，包括同步源***10的数据库同步模块101、消息队列102和同步源***级间同步模块103以及同步目的***11的同步目的***级间同步模块111；同步源***10与同步目的***11通过同步源***级间同步模块103和同步目的***级间同步模块111与消息队列102进行数据交互；
所述数据库同步模块101获取同步源***10数据库的操作日志，并将捕获到的数据库操作日志写入消息队列102的同步主题中；
所述消息队列102为各模块之间提供通信，通信以先入先出的队列方式提供，并通过支持多个主题使每个通信信道不互相干扰；使数据库同步模块101可以将数据库操作日志通过同步主题传送给同步源***级间同步模块103，使同步源***级间同步模块103可以将过滤后的数据库操作日志传送给同步目的***级间同步模块111；
所述同步源***级间同步模块103中配置了需要同步的数据信息与各同步目的***的数据权限，从消息队列102的同步主题中获取来源于数据库同步模块101全量的数据库操作日志后，根据配置信息，将不需要同步的数据丢弃，将需要同步给不同数据目的***的数据库操作日志写入消息队列102的不同分发主题中；
同步目的***级间同步模块111中配置了同步源***中消息队列102的地址与分配给本***的同步主题，根据配置，将从消息队列102的指定主题中获得数据库操作日志，并根据操作日志对同步目的***11的数据库进行更新。
所述的数据级联同步***的数据同步方法，包括如下步骤：
步骤1：在同步源***10的数据库中的数据发生变更时，即对该数据库进行了更新操作，数据库会产生操作日志。数据库同步模块101将数据库操作日志捕获，并发送到消息队列102中的同步源***级间同步模块103中；
步骤2：同步源***级间同步模块103从同步主题将数据库操作日志分发至消息队列102的各分发主题中：
1)同步源***级间同步模块103从同步主题中将数据库同步模块101写入同步主题的数据库操作日志读出；
2)解析读出的数据库操作日志，并判断是否为需要同步的操作，若该操作不需要同步，则直接丢弃该操作日志，步骤结束，若需要同步，继续进行3)；
3)将该操作日志与数据权限配置进行比对，判断该操作日志应分发至哪个主题，并将该日志写入对应主题中。
步骤3：同步目的***级间同步模块111根据配置，从同步源***10的消息队列102中特定的分发主题读取数据库操作日志，并解析该操作日志，将对应的操作在同步目的***11的数据库上执行，完成数据同步。
和现有技术相比较，本发明具备如下优点：
与全量数据同步的方法相比，本发明可以配置数据权限，按照业务的需求将不需要同步的数据丢弃，将需要同步的数据按照配置，分发给不同的同步目的***中，不但节省了网络带宽，而且保护了数据安全。
附图说明
图1为本发明一种数据级联同步***的结构图。
图2为实施例中进行数据双向同步的上下两级***的结构图。
图3为实施例中上级***向下级***同步数据方法的流程图。
图4为实施例中下级***向上级***同步数据方法的流程图。
具体实施方式
以下结合附图及实施例对本发明作进一步的阐释。
如图1所示，本发明一种数据级联同步***，该***包含同步源***10与同步目的***11。同步源***10包含数据库同步模块101、消息队列102与同步源***级间同步模块103，同步目的***11包含同步目的***级间同步模块111。
数据库同步模块101是从同步源***10数据库获取数据库操作日志，并将操作日志写入消息队列的同步主题中。
消息队列102是为不同模块提供消息交互机制的软件组件，支持先进先出(FIFO)的消息队列模式与多个消息主题，以便给不同组件提供多个消息通道。
同步源***级间同步模块103中存储同步配置，用来从消息队列102的同步主题中将数据库同步模块101获取的数据库操作日志，并根据配置将不需要同步的操作日志丢弃，将需要同步的操作日志分发给配置指定的主题中。
同步目的***级间同步模块111是用来从同步源***10的消息队列102指定主题中获取同步给本***数据库操作日志的软件模块。
下面采用一具体实例，并结合图1所示的***结构图，详细介绍在一个实例中，上述数据同步***与方法。
如图2所示，上级***20与下级***21进行数据同步，在本实例中上级***向下级***同步数据时，上级***为同步源***，下级***为同步目的***；下级***向上级***同步数据时，下级***为同步源***，上级***为同步目的***。
在上级***20向下级***21同步数据时，上级***20即为图1中同步源***10，下级***21中的级间同步模块213与下级***中的数据库为图1中同步目的***11。
在下级***21向上级***20同步数据时，下级***21即为图1中同步源***10，本实例中，一个下级***只有唯一一个上级***，故下级***的级间同步模块213在向上同步数据时不需要将数据库操作日志分发到不同的主题中。
图3为本申请实施例中，上级***向下级***同步数据方法，主要包含以下步骤：
步骤301、当上级***20的数据库发生变更时，上级***数据库同步模块201获取数据库操作日志，并将数据库操作日志写入上级***消息队列202的同步主题中。
步骤302、上级***级间同步模块203从上级***级消息队列202的同步主题中获取步骤301中由上级***数据库同步模块201写入的数据库操作日志。
步骤303、上级***级间同步模块203根据业务配置判断该操作日志是否需要同步。
步骤304、若不需要同步，则丢弃该数据库操作日志，同步流程结束。
步骤305、若需要同步，则根据数据权限的配置，将该数据库操作日志写入消息队列202特定的下发主题中。
步骤306、下级***级间同步模块213根据业务配置从上级***消息队列202特定的下发主题中获取数据库操作日志。
步骤307、下级***级间同步模块213将获取到的数据库操作日志同步到下级***的数据库中，同步流程结束。
图4为本申请实施例中，上级***向下级***同步数据方法，主要包含以下步骤：
步骤401、当下级***21的数据库发生变更时，下级***数据库同步模块211获取数据库操作日志，并将数据库操作日志写入下级***消息队列212的同步主题中。
步骤402、下级***级间同步模块213从下级***消息队列212的同步主题中获取步骤401中由下级***数据库同步模块211写入的数据库操作日志。
步骤403、下级***级间同步模块213根据业务配置判断该操作日志是否需要同步。
步骤404、若不需要同步，则丢弃该数据库操作日志，同步流程结束。
步骤405、若需要同步，则将该数据库操作日志写入消息队列212的上报主题中。
步骤406、上级***级间同步模块203根据业务配置从下级***消息队列212上报主题中获取数据库操作日志。
步骤407、上级***级间同步模块203将获取到的数据库操作日志同步到上级***的数据库中，同步流程结束。

Claims (2)

1.一种数据级联同步***，其特征在于：包括同步源***(10)的数据库同步模块(101)、消息队列(102)和同步源***级间同步模块(103)以及同步目的***(11)的同步目的***级间同步模块(111)；同步源***(10)与同步目的***(11)通过同步源***级间同步模块(103)和同步目的***级间同步模块(111)与消息队列(102)进行数据交互；
所述数据库同步模块(101)获取同步源***(10)数据库的操作日志，并将捕获到的数据库操作日志写入消息队列(102)的同步主题中；
所述消息队列(102)为各模块之间提供通信，通信以先入先出的队列方式提供，并通过支持多个主题使每个通信信道不互相干扰；使数据库同步模块(101)能够将数据库操作日志通过同步主题传送给同步源***级间同步模块(103)，使同步源***级间同步模块(103)能够将过滤后的数据库操作日志传送给同步目的***级间同步模块(111)；
所述同步源***级间同步模块(103)中配置了需要同步的数据信息与各同步目的***的数据权限，从消息队列(102)的同步主题中获取来源于数据库同步模块(101)全量的数据库操作日志后，根据配置信息，将不需要同步的数据丢弃，将需要同步给不同数据目的***的数据库操作日志写入消息队列(102)的不同分发主题中；
同步目的***级间同步模块(111)中配置了同步源***中消息队列(102)的地址与分配给本***的同步主题，根据配置，将从消息队列(102)的指定主题中获得数据库操作日志，并根据操作日志对同步目的***(11)的数据库进行更新。
2.权利要求1所述的数据级联同步***的数据同步方法，其特征在于：包括如下步骤：
步骤1：在同步源***(10)的数据库中的数据发生变更时，即对该数据库进行了更新操作，数据库会产生操作日志；数据库同步模块(101)将数据库操作日志捕获，并发送到消息队列(102)中的同步源***级间同步模块(103)中；
步骤2：同步源***级间同步模块(103)从同步主题将数据库操作日志分发至消息队列(102)的各分发主题中：
1)同步源***级间同步模块(103)从同步主题中将数据库同步模块(101)写入同步主题的数据库操作日志读出；
2)解析读出的数据库操作日志，并判断是否为需要同步的操作，若该操作不需要同步，则直接丢弃该操作日志，步骤结束，若需要同步，继续进行3)；
3)将该操作日志与数据权限配置进行比对，判断该操作日志应分发至哪个主题，并将该日志写入对应主题中；
步骤3：同步目的***级间同步模块(111)根据配置，从同步源***(10)的消息队列(102)中特定的分发主题读取数据库操作日志，并解析该操作日志，将对应的操作在同步目的***(11)的数据库上执行，完成数据同步。
CN202110617953.2A 2021-06-03 2021-06-03 一种数据级联同步***及方法 Active CN113220791B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110617953.2A CN113220791B (zh) 2021-06-03 2021-06-03 一种数据级联同步***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110617953.2A CN113220791B (zh) 2021-06-03 2021-06-03 一种数据级联同步***及方法

Publications (2)

Publication Number Publication Date
CN113220791A true CN113220791A (zh) 2021-08-06
CN113220791B CN113220791B (zh) 2023-07-28

Family

ID=77082567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110617953.2A Active CN113220791B (zh) 2021-06-03 2021-06-03 一种数据级联同步***及方法

Country Status (1)

Country Link
CN (1) CN113220791B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113987089A (zh) * 2021-12-28 2022-01-28 北京力控元通科技有限公司 一种***级联方法、数据处理方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170272516A1 (en) * 2016-03-17 2017-09-21 International Business Machines Corporation Providing queueing in a log streaming messaging system
CN107783975A (zh) * 2016-08-24 2018-03-09 北京京东尚科信息技术有限公司 分布式数据库同步处理的方法和装置
CN108763387A (zh) * 2018-05-20 2018-11-06 湖北九州云仓科技发展有限公司 异构平台的大数据融合方法、电子设备、存储介质及***
WO2019047479A1 (zh) * 2017-09-08 2019-03-14 广东省建设信息中心 一种普适多源异构大规模数据同步***
CN109739929A (zh) * 2018-12-18 2019-05-10 中国人民财产保险股份有限公司 数据同步方法、装置及***
CN111339186A (zh) * 2020-02-19 2020-06-26 平安科技（深圳）有限公司 工作流引擎数据同步方法、装置、介质及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170272516A1 (en) * 2016-03-17 2017-09-21 International Business Machines Corporation Providing queueing in a log streaming messaging system
CN107783975A (zh) * 2016-08-24 2018-03-09 北京京东尚科信息技术有限公司 分布式数据库同步处理的方法和装置
WO2019047479A1 (zh) * 2017-09-08 2019-03-14 广东省建设信息中心 一种普适多源异构大规模数据同步***
US20200409977A1 (en) * 2017-09-08 2020-12-31 Guangdong Construction Information Center Generic Multi-Source Heterogeneous Large-Scale Data Synchronization Client-Server Method
CN108763387A (zh) * 2018-05-20 2018-11-06 湖北九州云仓科技发展有限公司 异构平台的大数据融合方法、电子设备、存储介质及***
CN109739929A (zh) * 2018-12-18 2019-05-10 中国人民财产保险股份有限公司 数据同步方法、装置及***
CN111339186A (zh) * 2020-02-19 2020-06-26 平安科技（深圳）有限公司 工作流引擎数据同步方法、装置、介质及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
崔伟等: "分布式***中数据同步机制的研究与实现", 《计算机工程与设计》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113987089A (zh) * 2021-12-28 2022-01-28 北京力控元通科技有限公司 一种***级联方法、数据处理方法及装置

Also Published As

Publication number Publication date
CN113220791B (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
US8514800B2 (en) Method for transmitting and receiving ethernet data between digital unit and RF unit and apparatus thereof
CN101197694A (zh) 一种通讯***日志集中统计、处理***及其方法
CN101222347A (zh) 一种实现用户获取网络数据的方法及设备
CN113220791B (zh) 一种数据级联同步***及方法
CN102739624A (zh) 一种无源光网络单元的业务自动迁移方法和***
KR20140111621A (ko) 동기식 네트워크 애플리케이션 내의 전송 기준 신호 클린업
CN115297493A (zh) 一种SRv6网络切片配置管理方法及***
US7882419B2 (en) Communications line monitoring system, relay apparatus, and communications line monitoring method
EP4207859A1 (en) Methods for inserting and extracting operations, administration, and maintenance of transmitting end, device, and medium
US20050243854A1 (en) Channelization apparatus and method of analyzing mobile telephony data
CN111491221B (zh) 一种vOLT组播方法及OLT设备
CN106855869A (zh) 一种实现数据库高可用的方法、装置和***
CN111092687B (zh) 一种fc交换网络***日历时钟同步***
CN106657168A (zh) 同步数据方法、装置及***
US7894477B2 (en) Framing mobile communication signals for analysis
CN107332695A (zh) 一种部署二层网络的方法及装置
US20130195050A1 (en) Cascaded base station apparatus and operation method thereof
US20130121240A1 (en) Delay Management in Shared Baseband Deployments
JP2000509216A (ja) ディジタルビデオ放送システム
CN101441743A (zh) 信息共享***
US7864743B2 (en) Method and apparatus for implementing a uniform platform for data/voice service
US20090046651A1 (en) Networks and methods integrating digital mobile standards
US20080301285A1 (en) Methods, apparatus and systems for analyzing data carried by a plurality of data tributaries, wherein the analysis is based on a mapping of the data tributaries to one or more tributary sets
US10516435B1 (en) Detecting full duplex (FDX) amplifier cable modem (CM) attachment
US11196500B1 (en) Continuance in quality level of an input timing signal

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant