CN113326318A - 一种双***间数据同步的方法与*** - Google Patents

一种双***间数据同步的方法与*** Download PDF

Info

Publication number
CN113326318A
CN113326318A CN202110593686.XA CN202110593686A CN113326318A CN 113326318 A CN113326318 A CN 113326318A CN 202110593686 A CN202110593686 A CN 202110593686A CN 113326318 A CN113326318 A CN 113326318A
Authority
CN
China
Prior art keywords
synchronization
module
data
transaction
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110593686.XA
Other languages
English (en)
Inventor
吴建进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Joyit Technologies Co ltd
Original Assignee
Joyit Technologies Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Joyit Technologies Co ltd filed Critical Joyit Technologies Co ltd
Priority to CN202110593686.XA priority Critical patent/CN113326318A/zh
Publication of CN113326318A publication Critical patent/CN113326318A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/275—Synchronous replication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/141—Setup of application sessions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/143—Termination or inactivation of sessions, e.g. event-controlled end of session
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及信息同步技术领域，尤指一种双***间数据同步的方法与***，当所述业务模块对数据进行了***、删除、更新操作时会发起数据库同步请求，所述传输模块收到同步请求后对Sq l进行判断写入事务存储事务数据库，最后由所述同步模块完成事务处理实现服务器之间的数据同步与文件同步，实现高效、简洁的数据传输，同时保证数据的完整性和数据同步时效性。

Description

一种双***间数据同步的方法与***
技术领域
本发明涉及信息同步技术领域，尤指一种双***间数据同步的方法与***。
背景技术
专利文献CN202011537934.0公开了一种数据库同步方法、装置、计算机设备及可读存储介质，主要通过识别目标数据库和原始数据库后从所述目标数据库中获取目标数据，然后对比所述目标数据和原始数据之间的差异得到差异数据；将所述差异数据载入预置的公式程序中获得同步脚本，通过所述同步脚本将所述差异数据同步到所述目标数据库或原始数据库中，使所述目标数据和所述原始数据中的数据同步。
上述的数据同步实现方法中存在的缺陷是每次变更都要进行数据比对，再通过数据的比对得到差异数据这个过程同步的效率过低，不能保证数据同步的时效性；而且该过程会占用大量的数据库资源，会对当前***的数据库环境造成影响；需要公式程序这些规则对用户体验不好，当数据量过大时此方法对数据库操作比较反复频繁，所以所需的数据库服务器性能要求较高。
发明内容
为解决上述问题，本发明提供一种双***间数据同步的方法与***，实现高效、简洁的数据传输，同时保证数据的完整性。
本发明的另一个目的是提供一种能够保证数据同步时效性的双***间数据同步的方法与***。
为实现上述目的，本发明采用的技术方案是：一种双***间数据同步装置，包含：业务模块、传输模块、同步模块、DB和File Server，所述业务模块为***业务层，所述传输模块将所述业务模块的Sql传输到所述同步模块，所述同步模块实现***之间的数据同步，所述DB即数据库服务器，所述File Server即文件服务器。
一种双***间数据同步的方法，当所述业务模块对数据进行了***、删除、更新操作时会发起数据库同步请求，所述传输模块收到同步请求后对Sql进行判断写入事务存储事务数据库，最后由所述同步模块完成事务处理实现服务器之间的数据同步与文件同步。
进一步地，其中包括储存事务功能，所述储存事务功能由所述传输模块收到请求后写入储存事务数据库，提供两个一级List事务缓存给主线程写入，一级web缓存存放web及syt_cdr同步请求语句，处理线程取出后直接更新即可；一级cdr缓存存放syt_cdt同步请求语句，处理线程取出后判断是否需要同时更新语音文件。
进一步地，还包括数据与文件同步功能：
(1)建立两个服务器之间TCP连接，首先通过身份验证建立TCP连接，再进行心跳验证来控制是否断开连接，心跳验证成功不记录次数，验证失败则记录次数，当失败次数大于3次断开TCP连接；
(2)当业务模块数据有新增、修改、删除操作时，通过TCP发送操作生成的SQL语句与文件同步请求到另外一台服务器的同步模块；
(3)传输模块收到同步请求后对Sql进行判断写入事务缓存，最后由同步模块完成事务处理实现服务器之间的数据同步与文件同步。
本发明的有益效果在于：
1，本发明不需要数据比对和数据传输，只需要传输Sql，从而实现过程更高效更简洁；
2，本发明通过TCP传输Sql方式，有效保证了数据同步的时效性；
3，本发明通过对事务的控制来实现同步，有效保证了数据的完整性；
4，本发明不止实现了双***之间的数据同步，而且完善了文件的同步功能，当大量数据需要同步时，本发明将数据化整为零每次都只***一条，不容易造成数据库阻塞产生表死锁，因而对当前***的数据库环境造成的影响可以忽略不计；
5，本发明实现数据同步过程中只需要分别对各自数据库访问一次，因此数据同步过程所需占用的资源相对很小，对数据库服务器的性能相对较低；
6，本发明更加灵活，没有公式程序约束，用户体验感更佳。
附图说明
图1是本发明的***结构图。
图2是本发明的web_tdr处理流程图。
图3是本发明的syt_dcr处理流程图。
图4是本发明的web_tdr事务缓存信息表。
图5是本发明的syt_cdr事务缓存信息表。
图6是本发明的同步请求事务失败信息表。
具体实施方式
请参阅图1-6所示，本发明关于一种双***间数据同步装置，包含：业务模块、传输模块、同步模块、DB和File Server，所述业务模块为***业务层，所述传输模块将所述业务模块的Sql传输到所述同步模块，所述同步模块实现***之间的数据同步，所述DB即数据库服务器，所述File Server即文件服务器。
一种双***间数据同步的方法，当所述业务模块对数据进行了***、删除、更新操作时会发起数据库同步请求，所述传输模块收到同步请求后对Sql进行判断写入事务存储事务数据库，最后由所述同步模块完成事务处理实现服务器之间的数据同步与文件同步。
其中包括储存事务功能，所述储存事务功能由所述传输模块收到请求后写入储存事务数据库，提供两个一级List(web_tdr、syt_cd)事务缓存给主线程写入，一级web缓存存放web及syt_cdr同步请求语句，处理线程取出后直接更新即可；一级cdr缓存存放syt_cdt同步请求语句，处理线程取出后判断是否需要同时更新语音文件。
还包括数据与文件同步功能：
(1)建立两个服务器之间TCP连接，首先通过身份验证建立TCP连接，再进行心跳验证来控制是否断开连接，心跳验证成功不记录次数，验证失败则记录次数，当失败次数大于3次断开TCP连接；
(2)当业务模块数据有新增、修改、删除操作时，通过TCP发送操作生成的SQL语句与文件同步请求到另外一台服务器的同步模块；
(3)传输模块收到同步请求后对Sql进行判断写入事务缓存，最后由同步模块完成事务处理实现服务器之间的数据同步与文件同步。
本发明的工作原理是：
主线程只负责接收消息写入不同事务缓存，缓存大小可由配置文件提供，未避免事务丢失，一级缓存设置较大内存；当一级事务缓存中存在事务时处理线程从中取出，存入一个二级缓存，对二级缓存采用RAM与DateBase相结合的存储方式，当RAM存储的事务数量超过一定限制时(由配置文件提供)，通过存入本地数据库进行存储；Web端与SythesizeCDR端同步请求事务分开存储，以便对事务操作。当一级事务缓存没有事务时，事务处理线程开始执行同步更新操作，并根据事务执行结果不同进行不同的处理，执行成功或因事务本身原因导致失败写入日志，记录失败原因，并在本地数据库或二级缓存中删除该事务，如因数据库连接失败，则重新连接数据库。
本发明的有益效果在于：
1，本发明不需要数据比对和数据传输，只需要传输Sql，从而实现过程更高效更简洁；
2，本发明通过TCP传输Sql方式，有效保证了数据同步的时效性；
3，本发明通过对事务的控制来实现同步，有效保证了数据的完整性；
4，本发明不止实现了双***之间的数据同步，而且完善了文件的同步功能，当大量数据需要同步时，本发明将数据化整为零每次都只***一条，不容易造成数据库阻塞产生表死锁，因而对当前***的数据库环境造成的影响可以忽略不计；
5，本发明实现数据同步过程中只需要分别对各自数据库访问一次，因此数据同步过程所需占用的资源相对很小，对数据库服务器的性能相对较低；
6，本发明更加灵活，没有公式程序约束，用户体验感更佳。
以上实施方式仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通工程技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。

Claims (4)

1.一种双***间数据同步***，其特征在于，包含：业务模块、传输模块、同步模块、DB和File Server，所述业务模块为***业务层，所述传输模块将所述业务模块的Sql传输到所述同步模块，所述同步模块实现***之间的数据同步，所述DB即数据库服务器，所述FileServer即文件服务器。
2.一种双***间数据同步的方法，其特征在于：当所述业务模块对数据进行了***、删除、更新操作时会发起数据库同步请求，所述传输模块收到同步请求后对Sql进行判断写入事务存储事务数据库，最后由所述同步模块完成事务处理实现服务器之间的数据同步与文件同步。
3.根据权利要求2所述的双***间数据同步的方法，其特征在于：其中包括储存事务功能，所述储存事务功能由所述传输模块收到请求后写入储存事务数据库，提供两个一级List事务缓存给主线程写入，一级web缓存存放web及syt_cdr同步请求语句，处理线程取出后直接更新即可；一级cdr缓存存放syt_cdt同步请求语句，处理线程取出后判断是否需要同时更新语音文件。
4.根据权利要求2所述的双***间数据同步的方法，其特征在于：还包括数据与文件同步功能：
(1)建立两个服务器之间TCP连接，首先通过身份验证建立TCP连接，再进行心跳验证来控制是否断开连接，心跳验证成功不记录次数，验证失败则记录次数，当失败次数大于3次断开TCP连接；
(2)当业务模块数据有新增、修改、删除操作时，通过TCP发送操作生成的SQL语句与文件同步请求到另外一台服务器的同步模块；
(3)传输模块收到同步请求后对Sql进行判断写入事务缓存，最后由同步模块完成事务处理实现服务器之间的数据同步与文件同步。
CN202110593686.XA 2021-05-28 2021-05-28 一种双***间数据同步的方法与*** Pending CN113326318A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110593686.XA CN113326318A (zh) 2021-05-28 2021-05-28 一种双***间数据同步的方法与***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110593686.XA CN113326318A (zh) 2021-05-28 2021-05-28 一种双***间数据同步的方法与***

Publications (1)

Publication Number Publication Date
CN113326318A true CN113326318A (zh) 2021-08-31

Family

ID=77422279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110593686.XA Pending CN113326318A (zh) 2021-05-28 2021-05-28 一种双***间数据同步的方法与***

Country Status (1)

Country Link
CN (1) CN113326318A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101187888A (zh) * 2007-12-11 2008-05-28 浪潮电子信息产业股份有限公司 一种异构环境中复制数据库数据的方法
CN102137132A (zh) * 2010-01-26 2011-07-27 腾讯科技（深圳）有限公司 数据同步***及方法
CN105635248A (zh) * 2015-12-18 2016-06-01 Tcl集团股份有限公司 一种tcp连接资源的释放方法及***
CN109739685A (zh) * 2018-11-22 2019-05-10 广州市保伦电子有限公司 一种主从热备份数据同步方法和存储介质
CN110807062A (zh) * 2018-08-02 2020-02-18 中兴通讯股份有限公司 一种数据同步的方法、装置和数据库主机
CN112835972A (zh) * 2019-11-22 2021-05-25 北京中电普华信息技术有限公司 非结构化数据的同步方法及***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101187888A (zh) * 2007-12-11 2008-05-28 浪潮电子信息产业股份有限公司 一种异构环境中复制数据库数据的方法
CN102137132A (zh) * 2010-01-26 2011-07-27 腾讯科技（深圳）有限公司 数据同步***及方法
CN105635248A (zh) * 2015-12-18 2016-06-01 Tcl集团股份有限公司 一种tcp连接资源的释放方法及***
CN110807062A (zh) * 2018-08-02 2020-02-18 中兴通讯股份有限公司 一种数据同步的方法、装置和数据库主机
CN109739685A (zh) * 2018-11-22 2019-05-10 广州市保伦电子有限公司 一种主从热备份数据同步方法和存储介质
CN112835972A (zh) * 2019-11-22 2021-05-25 北京中电普华信息技术有限公司 非结构化数据的同步方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郑海明: "基于SQL还原法的异构数据库同步技术的研究与实现", 《计算机时代》 *

Similar Documents

Publication Publication Date Title
US7480654B2 (en) Achieving cache consistency while allowing concurrent changes to metadata
CN108710638B (zh) 一种基于混合rdma操作的分布式并发控制方法及***
CN112084258A (zh) 一种数据同步方法和装置
CN103885895A (zh) 容错集群存储***中的写入性能
US20220207036A1 (en) Data access method and apparatus, and data storage method and apparatus
US20230098190A1 (en) Data processing method, apparatus, device and medium based on distributed storage
CN109582686B (zh) 分布式元数据管理一致性保证方法、装置、***及应用
CN110119329B (zh) 数据复制容灾方法及容灾***
CN105354046B (zh) 基于共享磁盘的数据库更新处理方法及***
CN105426321A (zh) 采用远程位置信息的rdma友好缓存方法
CN112307119A (zh) 数据同步方法、装置、设备及存储介质
CN113094430B (zh) 一种数据处理方法、装置、设备以及存储介质
CN113010549A (zh) 基于异地多活***的数据处理方法、相关设备及存储介质
CN109388481A (zh) 一种事务信息的传输方法、***、装置、计算设备和介质
CN110807039A (zh) 一种云计算环境下数据一致性维护***及方法
CN105610917B (zh) 实现***中同步数据修复的方法及***
CN104580425A (zh) 一种客户端数据同步方法及***
CN113438275B (zh) 数据迁移方法、装置、存储介质及数据迁移设备
WO2024109253A1 (zh) 一种数据备份方法、***和设备
CN113905054A (zh) 基于RDMA的Kudu集群数据同步方法、装置、***
CN108733808A (zh) 大数据软件***切换方法、***、终端设备及存储介质
CN112052104A (zh) 基于多机房实现的消息队列的管理方法及电子设备
WO2021189283A1 (zh) 数据处理方法、装置、电子装置及存储介质
CN113326318A (zh) 一种双***间数据同步的方法与***
CN107040455B (zh) 一种基于redis的即时消息通讯方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210831

RJ01 Rejection of invention patent application after publication