CN111770145A - 一种基于日志解析的单向网络双边数据同步***及方法 - Google Patents

一种基于日志解析的单向网络双边数据同步***及方法 Download PDF

Info

Publication number
CN111770145A
CN111770145A CN202010553458.5A CN202010553458A CN111770145A CN 111770145 A CN111770145 A CN 111770145A CN 202010553458 A CN202010553458 A CN 202010553458A CN 111770145 A CN111770145 A CN 111770145A
Authority
CN
China
Prior art keywords
log
intranet
extranet
antboe
service database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010553458.5A
Other languages
English (en)
Inventor
周维绒
李卓
赵俊祺
王超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shenyue Information Technology Co ltd
Original Assignee
Zhejiang Shenyue Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Shenyue Information Technology Co ltd filed Critical Zhejiang Shenyue Information Technology Co ltd
Priority to CN202010553458.5A priority Critical patent/CN111770145A/zh
Publication of CN111770145A publication Critical patent/CN111770145A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于日志解析的单向网络双边数据同步***及方法，包括内网业务数据库、内网AntBee、外网消息队列、外网AntBee、外网业务数据库，所述内网业务数据库具有开启日志功能，并对日志进行读取以获取日志信息，所述内网AntBee具有配置内外网业务数据库连接功能，并通过调用外网接口在外网AntBee生成定时作业，所述内网AntBee通过配置内外网业务数据库连接能够生产定时作业，并将定时作业包装成消息推送至外网消息队列，所述内网AntBee通过监听消息队列获取消息，并对消息进行解包以对内网业务数据库进行更新数据，所述外网业务数据库具有开启日志功能，并对日志进行读取以获取日志信息；本发明实现内外网单向网络的数据库数据双向同步。

Description

一种基于日志解析的单向网络双边数据同步***及方法
技术领域
本发明涉及一种数据同步***，具体是一种基于日志解析的单向网络双边数据同步***及方法。
背景技术
随着大数据的发展，数据信息的安全显得越来越重要，出于对数据的保护，政府或企业往往将数据储存于安全等级较高、与互联网或公共网络环境相隔离的内网数据库环境当中。数据一旦产生，就会有共享的需求，无关地域，无关网络环境。当数据越来越多，需求也就越强烈。但部署于公网、面向公众开放的应用、接口等服务由于物理环境隔离和网络单向通信的限制将无法调用、读取、更新这些储存在内网数据库中的数据。此时需要将部分敏感度低、可以开放共享的数据同时储存一份到公网数据库上供应用使用。这时就会面临如何保持内外网数据一致性的问题。面对这种情况目前有以下这些数据同步方法。
1、快照法：快照(Snapshot)是数据库中存储对象在某一时刻的即时映像。通过为同步对象定义一个快照或采用类似方法，可以将它的当前映像作为更新副本的内容。此方法只能同步整个数据库，无法选择性同步数据，且实时性较差。
2、触发器法：此方法会影响源数据库性能，且双向同步时会重复循环触发，只能用于单向同步。
时间戳法：这种方法为需要同步的每个表都添加一个时间戳字段，原有的应用***在该列记录每个记录修改时间。这种方法不影响原有应用的运行效率，但却需要对原有***做较大的调整，而且不能捕获到那些并非通过应用***引起的操作数据变化，也很难处理删除的记录同步。
发明内容
本发明的目的在于提供一种基于日志解析的单向网络双边数据同步***及方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于日志解析的单向网络双边数据同步***，包括内网业务数据库、内网AntBee、外网消息队列、外网AntBee、外网业务数据库，所述内网业务数据库具有开启日志功能，并对日志进行读取以获取日志信息，所述内网AntBee具有配置内外网业务数据库连接功能，并通过调用外网接口在外网AntBee生成定时作业，所述内网AntBee通过配置内外网业务数据库连接能够生产定时作业，并将定时作业包装成消息推送至外网消息队列，所述内网AntBee通过监听消息队列获取消息，并对消息进行解包以对内网业务数据库进行更新数据，所述外网业务数据库具有开启日志功能，并对日志进行读取以获取日志信息，所述外网AntBee能够通过外网业务数据库获取的日志信息生产定时作业，并将定时作业包装成消息推送至外网消息队列，所述外网AntBee通过监听消息队列获取消息，并对消息进行解包以对外网业务数据库进行更新数据。
一种基于日志解析的单向网络双边数据同步方法，包括以下步骤：
步骤一：内网业务数据库开启日志功能，外网业务数据库开启日志功能，内网AntBee配置内外网业务数据连接；
步骤二：内网AntBee生成定时作业读取并解析内网业务数据库日志，并打包成消息推送至外网消息队列；外网AntBee生成定时作业读取并解析外网业务数据库日志，并打包成消息推送至外网消息队列；
步骤三：内网AntBee的定时作业监听外网消息队列获取外网AntBee推送的消息，解包消息并更新内网业务数据库的数据；外网AntBee的定时作业监听外网消息队列获取内网AntBee推送的消息，解包消息并更新外网业务数据库的数据。
作为本发明进一步的方案：所述步骤二中的定时作业读取日志时会记录当前时间，且下次读取日志时会从上次记录时间开始读取日志。
作为本发明进一步的方案：定时作业会根据上次读取时间计算时间间隔，判断读取在线日志还是归档日志。
作为本发明再进一步的方案：更新同步数据时选择与产生数据不同的数据库用户，以防止双向循环重复同步。
与现有技术相比，本发明的有益效果是：
1、本发明实现内外网单向网络的数据库数据双向同步。
2、本发明基于数据库日志解析方式对数据库性能无不利影响。
3、本发明基于消息队列通信使同步实时性缩短至秒级。
4、本发明数据日志与消息队列两次数据备份使同步数据0丢失，出现断电等意外数据能100％还原。
5、本发明集群式服务保证不会因宕机等意外停止同步。
附图说明
图1为一种基于日志解析的单向网络双边数据同步***及方法的程序框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明实施例中，一种基于日志解析的单向网络双边数据同步方法，包括内网业务数据库、内网AntBee、外网消息队列、外网AntBee、外网业务数据库，所述内网业务数据库具有开启日志功能，并对日志进行读取以获取日志信息，所述内网AntBee具有配置内外网业务数据库连接功能，并通过调用外网接口在外网AntBee生成定时作业，所述内网AntBee通过配置内外网业务数据库连接能够生产定时作业，并将定时作业包装成消息推送至外网消息队列，所述内网AntBee通过监听消息队列获取消息，并对消息进行解包以对内网业务数据库进行更新数据，所述外网业务数据库具有开启日志功能，并对日志进行读取以获取日志信息，所述外网AntBee能够通过外网业务数据库获取的日志信息生产定时作业，并将定时作业包装成消息推送至外网消息队列，所述外网AntBee通过监听消息队列获取消息，并对消息进行解包以对外网业务数据库进行更新数据。
一种基于日志解析的单向网络双边数据同步方法，包括以下步骤：
步骤一：内网业务数据库开启日志功能，外网业务数据库开启日志功能，内网AntBee配置内外网业务数据连接；
步骤二：内网AntBee生成定时作业读取并解析内网业务数据库日志，并打包成消息推送至外网消息队列；外网AntBee生成定时作业读取并解析外网业务数据库日志，并打包成消息推送至外网消息队列；
步骤三：内网AntBee的定时作业监听外网消息队列获取外网AntBee推送的消息，解包消息并更新内网业务数据库的数据；外网AntBee的定时作业监听外网消息队列获取内网AntBee推送的消息，解包消息并更新外网业务数据库的数据。
所述步骤二中的定时作业读取日志时会记录当前时间，且下次读取日志时会从上次记录时间开始读取日志，防止重复读取。
定时作业会根据上次读取时间计算时间间隔，判断读取在线日志还是归档日志。
更新同步数据时选择与产生数据不同的数据库用户，以防止双向循环重复同步。
实现内外网单向网络的数据库数据双向同步。
本***基于数据库日志解析方式对数据库性能无不利影响；本***基于消息队列通信使同步实时性缩短至秒级；本***数据日志与消息队列两次数据备份使同步数据零丢失，出现断电等意外数据能100％还原；本***的集群式服务保证不会因宕机等意外停止同步。
本***支持同步自定义选择的数据库表，支持同步自定义选择的数据库语句执行用户，支持同步自定义选择的数据库表归属用户，支持同步自定义选择的数据库执行语句类型，支持自定义同步时间间隔；在WEB端简单配置即可实现同步。
尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于日志解析的单向网络双边数据同步***，包括内网业务数据库、内网AntBee、外网消息队列、外网AntBee、外网业务数据库，其特征在于：所述内网业务数据库具有开启日志功能，并对日志进行读取以获取日志信息，所述内网AntBee具有配置内外网业务数据库连接功能，并通过调用外网接口在外网AntBee生成定时作业，所述内网AntBee通过配置内外网业务数据库连接能够生产定时作业，并将定时作业包装成消息推送至外网消息队列，所述内网AntBee通过监听消息队列获取消息，并对消息进行解包以对内网业务数据库进行更新数据，所述外网业务数据库具有开启日志功能，并对日志进行读取以获取日志信息，所述外网AntBee能够通过外网业务数据库获取的日志信息生产定时作业，并将定时作业包装成消息推送至外网消息队列，所述外网AntBee通过监听消息队列获取消息，并对消息进行解包以对外网业务数据库进行更新数据。
2.一种基于日志解析的单向网络双边数据同步方法，其特征在于：包括以下步骤：
步骤一：内网业务数据库开启日志功能，外网业务数据库开启日志功能，内网AntBee配置内外网业务数据连接；
步骤二：内网AntBee生成定时作业读取并解析内网业务数据库日志，并打包成消息推送至外网消息队列；外网AntBee生成定时作业读取并解析外网业务数据库日志，并打包成消息推送至外网消息队列；
步骤三：内网AntBee的定时作业监听外网消息队列获取外网AntBee推送的消息，解包消息并更新内网业务数据库的数据；外网AntBee的定时作业监听外网消息队列获取内网AntBee推送的消息，解包消息并更新外网业务数据库的数据。
3.根据权利要求2所述的一种基于日志解析的单向网络双边数据同步方法，其特征在于：所述步骤二中的定时作业读取日志时会记录当前时间，且下次读取日志时会从上次记录时间开始读取日志。
4.根据权利要求3所述的一种基于日志解析的单向网络双边数据同步方法，其特征在于：定时作业会根据上次读取时间计算时间间隔，判断读取在线日志还是归档日志。
5.根据权利要求2所述的一种基于日志解析的单向网络双边数据同步方法，其特征在于：更新同步数据时选择与产生数据不同的数据库用户，以防止双向循环重复同步。
CN202010553458.5A 2020-06-17 2020-06-17 一种基于日志解析的单向网络双边数据同步***及方法 Pending CN111770145A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010553458.5A CN111770145A (zh) 2020-06-17 2020-06-17 一种基于日志解析的单向网络双边数据同步***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010553458.5A CN111770145A (zh) 2020-06-17 2020-06-17 一种基于日志解析的单向网络双边数据同步***及方法

Publications (1)

Publication Number Publication Date
CN111770145A true CN111770145A (zh) 2020-10-13

Family

ID=72720818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010553458.5A Pending CN111770145A (zh) 2020-06-17 2020-06-17 一种基于日志解析的单向网络双边数据同步***及方法

Country Status (1)

Country Link
CN (1) CN111770145A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113360475A (zh) * 2021-06-18 2021-09-07 广州中爆数字信息科技股份有限公司 基于内网终端的数据运维方法、装置、设备及存储介质
CN114911872A (zh) * 2022-07-18 2022-08-16 北京智芯微电子科技有限公司 内外网数据同步方法、装置、***、外网服务器及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9294340B1 (en) * 2014-10-07 2016-03-22 Google Inc. Systems and methods for updating data across multiple network architectures
CN105516094A (zh) * 2015-11-27 2016-04-20 蓝网科技股份有限公司 基于工控机的内外网数据交换方法及装置
CN107579971A (zh) * 2017-08-31 2018-01-12 上海欣方智能***有限公司 一种基于安全平台的内外网数据交换方法
CN107783975A (zh) * 2016-08-24 2018-03-09 北京京东尚科信息技术有限公司 分布式数据库同步处理的方法和装置
CN108897895A (zh) * 2018-07-12 2018-11-27 浪潮软件集团有限公司 基于云消息服务平台实现跨网闸Mysql数据库同步的装置及方法
CN111221664A (zh) * 2019-12-24 2020-06-02 视联动力信息技术股份有限公司 一种操作日志处理***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9294340B1 (en) * 2014-10-07 2016-03-22 Google Inc. Systems and methods for updating data across multiple network architectures
CN105516094A (zh) * 2015-11-27 2016-04-20 蓝网科技股份有限公司 基于工控机的内外网数据交换方法及装置
CN107783975A (zh) * 2016-08-24 2018-03-09 北京京东尚科信息技术有限公司 分布式数据库同步处理的方法和装置
CN107579971A (zh) * 2017-08-31 2018-01-12 上海欣方智能***有限公司 一种基于安全平台的内外网数据交换方法
CN108897895A (zh) * 2018-07-12 2018-11-27 浪潮软件集团有限公司 基于云消息服务平台实现跨网闸Mysql数据库同步的装置及方法
CN111221664A (zh) * 2019-12-24 2020-06-02 视联动力信息技术股份有限公司 一种操作日志处理***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113360475A (zh) * 2021-06-18 2021-09-07 广州中爆数字信息科技股份有限公司 基于内网终端的数据运维方法、装置、设备及存储介质
CN114911872A (zh) * 2022-07-18 2022-08-16 北京智芯微电子科技有限公司 内外网数据同步方法、装置、***、外网服务器及存储介质

Similar Documents

Publication Publication Date Title
CN109739929B (zh) 数据同步方法、装置及***
EP3754514B1 (en) Distributed database cluster system, data synchronization method and storage medium
WO2020147392A1 (zh) 数据库之间的数据同步方法和***
US8626778B2 (en) System and method for conversion of JMS message data into database transactions for application to multiple heterogeneous databases
CN112507029B (zh) 数据处理***及数据实时处理方法
US20070255763A1 (en) Database replication method and system
CN110569269A (zh) 一种数据同步方法及***
CN106503158B (zh) 数据同步方法及装置
CN109298978B (zh) 一种指定位置的数据库集群的恢复方法及***
CN112039701B (zh) 接口调用监控方法、装置、设备及存储介质
US9971779B2 (en) Automated data intake system
CN111770145A (zh) 一种基于日志解析的单向网络双边数据同步***及方法
CN108228755A (zh) 基于日志解析技术的MySQL数据库到Hadoop平台的数据同步复制方法
CN111432025A (zh) 一种面向云边协同的分布式服务目录管理方法及***
CN114048217A (zh) 增量数据的同步方法和装置、电子设备和存储介质
CN108228756A (zh) 基于日志解析技术的PG数据库到Hadoop平台的数据同步复制方法
CN112269823A (zh) 一种实现PostgreSQL增量数据同步的方法及***
CN112328702A (zh) 数据同步方法及***
Jannes et al. OWebSync: Seamless synchronization of distributed web clients
CN114661823A (zh) 数据同步的方法、装置、电子设备及可读存储介质
CN110417892B (zh) 基于报文解析的数据复制链路优化方法及装置
CN116701352A (zh) 一种数据库数据迁移方法及***
Goncalves et al. DottedDB: Anti-entropy without merkle trees, deletes without tombstones
CN113239005B (zh) 一种电力监控***i、iv区数据同步方法及装置
WO2022193855A1 (zh) 一种任务状态更新方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201013