CN110765206A - 一种数据同步***、方法、装置、设备及存储介质 - Google Patents
一种数据同步***、方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN110765206A CN110765206A CN201910999995.XA CN201910999995A CN110765206A CN 110765206 A CN110765206 A CN 110765206A CN 201910999995 A CN201910999995 A CN 201910999995A CN 110765206 A CN110765206 A CN 110765206A
- Authority
- CN
- China
- Prior art keywords
- data
- synchronization
- source
- message queue
- source data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000001360 synchronised effect Effects 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 15
- 230000003993 interaction Effects 0.000 abstract description 9
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/548—Queue
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明适用计算机技术领域,提供了数据同步***、方法、装置、设备及存储介质,同步管理平台接收源数据库到目标数据库的数据同步任务,将所述数据同步任务对应的同步任务配置推送至数据同步节点,数据同步节点根据所述同步任务配置和所述源数据库的日志,从所述源数据库中读取需要同步的源数据,将所述源数据放入到消息队列服务器,当检测到订阅者订阅的所述源数据时,从所述消息队列服务器获取所述源数据,将所述源数据写入到订阅者设置的目标数据库,从而通过消息队列服务器实现不同平台***间的数据同步,减少与目标数据库和源数据库之间的交互,保证数据库中数据的安全。
Description
技术领域
本发明属于计算机技术领域,尤其涉及一种数据同步***、方法、装置、设备及存储介质。
背景技术
由于电商平台版本更新迭代较快,且数据量较大,在新老版本切换时,用于存储数据的关联数据库之间需要进行同步,而普通的数据同步方法,需要对数据库表进行直接操作,并且不能实时地将数据同步到不同的项目数据库当中,且每次同步时都需要频繁地跟数据库进行交互,影响数据库数据的存储效率,并且同步的过程中计算机程序代码是从上往下执行的,如果计算机程序代码中间发生故障会影响整个数据同步的过程。
发明内容
本发明的目的在于提供一种数据同步***、方法、装置、设备及存储介质,旨在解决由于现有电商平台同步时与数据库交互频繁,导致同步效率不高的问题。
一方面,本发明提供了一种数据同步***,所述***包括同步管理平台、数据同步节点以及消息队列服务器,其中:
所述同步管理平台,用于接收源数据库到目标数据库的数据同步任务,将所述数据同步任务对应的同步任务配置推送至所述数据同步节点;
所述数据同步节点,用于根据所述同步任务配置和所述源数据库的日志,从所述源数据库中读取需要同步的源数据,将所述源数据放入到所述消息队列服务器,当检测到订阅者订阅的所述源数据时,从所述消息队列服务器获取所述源数据,将所述源数据写入到订阅者设置的目标数据库。
另一方面,本发明提供了一种基于上述数据同步***的数据同步方法,包括:
根据所述同步管理平台发送的同步任务配置和源数据库的日志,数据同步节点从所述源数据库中读取需要同步的源数据,将所述源数据放入到消息队列服务器;
当检测到订阅者订阅的所述源数据时,数据同步节点从所述消息队列服务器获取所述源数据,将所述源数据写入到订阅者设置的目标数据库。
另一方面,本发明还提供了基于上述数据同步***的数据同步装置,包括:
数据发布单元,用于根据所述同步管理平台发送的同步任务配置和源数据库的日志,数据同步节点从所述源数据库中读取需要同步的源数据,将所述源数据放入到消息队列服务器;以及
数据写入单元,用于当检测到订阅者订阅的所述源数据时,数据同步节点从所述消息队列服务器获取所述源数据,将所述源数据写入到订阅者设置的目标数据库。
另一方面,本发明还提供了同步设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上所述方法的步骤。
另一方面,本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上所述方法的步骤。
本发明提供的数据同步***包括同步管理平台和数据同步节点,同步管理平台接收源数据库到目标数据库的数据同步任务,将所述数据同步任务对应的同步任务配置推送至数据同步节点,数据同步节点根据所述同步任务配置和所述源数据库的日志,从所述源数据库中读取需要同步的源数据,将所述源数据放入到消息队列服务器,当检测到订阅者订阅的所述源数据时,从所述消息队列服务器获取所述源数据,将所述源数据写入到订阅者设置的目标数据库,从而通过消息队列服务器实现不同平台***间的数据同步,减少与目标数据库和源数据库之间的交互,保证数据库中数据的安全。
附图说明
图1是本发明实施例一提供的数据同步***的结构示意图;
图2是本发明实施例一提供的数据同步***的结构示意图;
图3是本发明实施例二提供的数据同步方法的实现流程图;
图4是本发明实施例三提供的数据同步装置的结构示意图;以及
图5是本发明实施例四提供的同步设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述:
实施例一:
图1示出了本发明实施例一提供的数据同步***的结构,为了便于说明,仅示出了与本发明实施例相关的部分。
在本发明实施例中,数据同步***1包括同步管理平台11、数据同步节点12以及消息队列服务器13,其中:
同步管理平台11用于接收源数据库到目标数据库的数据同步任务,将数据同步任务对应的同步任务配置推送至数据同步节点12;
数据同步节点12用于根据同步任务配置和源数据库的日志,从源数据库中读取需要同步的源数据,将源数据放入到消息队列服务器13,当检测到订阅者订阅的所述源数据时,从消息队列服务器13获取源数据,将源数据写入到订阅者设置的目标数据库。
在本发明实施例中,用户通过同步管理平台11对每次的数据同步进行统一配置,对数据同步过程进行监控。同步管理平台11在接收源数据库到目标数据库的数据同步任务后,将数据同步任务对应的同步任务配置推送至数据同步节点12。其中,同步任务可以是电商平台商品价格、商品描述等数据同步任务,同步任务配置可以是待同步数据、执行同步的时间等。数据同步节点12根据同步任务配置和源数据库的日志,从源数据库中捕捉、读取需要同步的源数据,进一步地可对读取的源数据进行处理,将源数据进行标准化(转换成对应的可处理数据类型),之后将源数据放入到消息队列服务器13。当检测到订阅者订阅的源数据时,数据同步节点12从消息队列服务器13获取源数据,将源数据写入到订阅者设置的目标数据库。在将源数据写入到订阅者设置的目标数据库之前,可通过数据同步节点12对源数据进行数据过滤,添加数据库的事务处理,还可以通过异构类型转换把要同步的源数据转换成目标数据库支持的数据格式,显著提高***的稳定性和可扩展性,最后再把源数据中的数据字段映射到对应的数据表中,最终把源数据写入到目标数据库中。
优选地,如图2所示,数据同步***1还包括本地缓存服务器14,用于在数据同步节点12将源数据放入到消息队列服务器13时,对数据同步节点12要放入到消息队列服务器13的源数据进行缓存,将缓存的源数据推送至消息队列服务器13,从而实现从源数据库到消息队列服务器的数据快速写入。
优选地,数据同步***1还包括外部缓存服务器15,用于在数据同步节点将源数据写入到订阅者设置的目标数据库时,对从消息队列服务器13获取的源数据进行缓存,将缓存的源数据写入到订阅者设置的目标数据库,从而实现从消息队列服务器到目标数据库的数据快速写入。
优选地,数据同步节点12还用于对传送的文件流进行检测,以监测文件流当中是否有需要进行同步的文件,当检测到订阅者订阅的同步文件时,将同步文件发送到目标文件中。具体在,在同步时,数据同步节点12对同步文件进行识别,区分这些文件的格式,再通过文件传输发送一个新的文件流把要同步的文件发送到目标文件中,从而实现文件的同步。
在本发明实施例中,通过消息队列服务器实现不同平台***间的数据同步,减少了与目标数据库和源数据库之间的交互,保证了数据库中数据的安全,通过外部缓存服务器可以支持大量的数据同时同步,另外,通过订阅发布机制保证了同步数据通过过程的实时性。
在本发明实施例中,数据同步***的各组成部分可由相应的硬件或软件单元实现,各单元可以为独立的软、硬件单元,也可以集成为一个软、硬件单元,在此不用以限制本发明。
实施例二:
图3示出了本发明实施例二提供的数据同步方法的实现流程,为了便于说明,仅示出了与本发明实施例相关的部分,详述如下:
在步骤S301中,根据同步管理平台发送的同步任务配置和源数据库的日志,数据同步节点从源数据库中读取需要同步的源数据,将源数据放入到消息队列服务器。
本发明实施例适用于实施例一中的数据同步***,该数据同步***包括同步管理平台、数据同步节点以及消息队列服务器。同步管理平台在接收源数据库到目标数据库的数据同步任务后,将数据同步任务对应的同步任务配置推送至数据同步节点,这样,数据同步节点可根据同步任务配置和源数据库的日志,从源数据库中读取需要同步的源数据,将源数据放入到消息队列服务器。
用户通过同步管理平台对每次的数据同步进行统一配置,对数据同步过程进行监控。同步管理平台在接收源数据库到目标数据库的数据同步任务后,将数据同步任务对应的同步任务配置推送至数据同步节点。其中,同步任务可以是电商平台商品价格、商品描述等数据同步任务,同步任务配置可以是待同步数据、执行同步的时间等。数据同步节点根据同步任务配置和源数据库的日志,从源数据库中捕捉、读取需要同步的源数据,进一步地可对读取的源数据进行处理,将源数据进行标准化(转换成对应的可处理数据类型),之后将源数据放入到消息队列服务器。
在步骤S302中,当检测到订阅者订阅的源数据时,数据同步节点从消息队列服务器获取源数据,将源数据写入到订阅者设置的目标数据库。
在本发明实施例中,在将源数据写入到订阅者设置的目标数据库之前,可通过数据同步节点对源数据进行数据过滤,添加数据库的事务处理,还可以通过异构类型转换把要同步的源数据转换成目标数据库支持的数据格式,显著提高***的稳定性和可扩展性,最后再把源数据中的数据字段映射到对应的数据表中,最终把源数据写入到目标数据库中。
当数据同步***还包括本地缓存服务器时,优选地,在将源数据放入到消息队列服务器时,将数据同步节点要放入到消息队列服务器的源数据缓存到本地缓存服务器,将缓存的源数据推送至消息队列服务器,从而实现从源数据库到消息队列服务器的数据快速写入。
当数据同步***还包括外部缓存服务器时,优选地,在将源数据写入到订阅者设置的目标数据库时,将从消息队列服务器获取的源数据缓存到外部缓存服务器,将缓存的所述源数据写入到订阅者设置的目标数据库,从而实现从消息队列服务器到目标数据库的数据快速写入。
进一步优选地,数据同步节点对传送的文件流进行检测,当检测到订阅者订阅的同步文件时,将同步文件发送到目标文件中,从而实现文件的同步。
实施例三:
图4示出了本发明实施例三提供的数据同步装置的结构,为了便于说明,仅示出了与本发明实施例相关的部分。
本发明实施例适用于实施例一中的数据同步***,本发明实施例提供的数据同步装置4包括:
数据发布单元41,用于根据所述同步管理平台发送的同步任务配置和源数据库的日志,数据同步节点从所述源数据库中读取需要同步的源数据,将所述源数据放入到消息队列服务器;以及
数据写入单元42,用于当检测到订阅者订阅的所述源数据时,数据同步节点从所述消息队列服务器获取所述源数据,将所述源数据写入到订阅者设置的目标数据库。
在本发明实施例中,数据同步装置的各单元可由相应的硬件或软件单元实现,各单元可以为独立的软、硬件单元,也可以集成为一个软、硬件单元,在此不用以限制本发明。各单元的具体实现方式可参考实施例一的对应描述,在此不再赘述。
实施例四:
图5示出了本发明实施例四提供的同步设备的结构,为了便于说明,仅示出了与本发明实施例相关的部分。
本发明实施例的同步设备5包括处理器50、存储器51以及存储在存储器51中并可在处理器50上运行的计算机程序52。该处理器50执行计算机程序52时实现上述数据同步方法实施例中的步骤,例如图3所示的步骤S301至S302。或者,处理器50执行计算机程序52时实现上述各装置实施例中各单元的功能,例如图4所示单元41至42的功能。
在本发明实施例中,同步管理平台接收源数据库到目标数据库的数据同步任务,将所述数据同步任务对应的同步任务配置推送至数据同步节点,数据同步节点根据所述同步任务配置和所述源数据库的日志,从所述源数据库中读取需要同步的源数据,将所述源数据放入到消息队列服务器,当检测到订阅者订阅的所述源数据时,从所述消息队列服务器获取所述源数据,将所述源数据写入到订阅者设置的目标数据库,从而通过消息队列服务器实现不同平台***间的数据同步,减少与目标数据库和源数据库之间的交互,保证数据库中数据的安全。
本发明实施例的同步设备可以为计算设备。该同步设备5中处理器50执行计算机程序52时实现数据同步方法时实现的步骤可参考前述方法实施例的描述,在此不再赘述。
实施例五:
在本发明实施例中,提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述数据同步方法实施例中的步骤,例如,图1所示的步骤S301至S302。或者,该计算机程序被处理器执行时实现上述各装置实施例中各单元的功能,例如图4所示单元41至42的功能。
在本发明实施例中,同步管理平台接收源数据库到目标数据库的数据同步任务,将所述数据同步任务对应的同步任务配置推送至数据同步节点,数据同步节点根据所述同步任务配置和所述源数据库的日志,从所述源数据库中读取需要同步的源数据,将所述源数据放入到消息队列服务器,当检测到订阅者订阅的所述源数据时,从所述消息队列服务器获取所述源数据,将所述源数据写入到订阅者设置的目标数据库,从而通过消息队列服务器实现不同平台***间的数据同步,减少与目标数据库和源数据库之间的交互,保证数据库中数据的安全。
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质,例如,ROM/RAM、磁盘、光盘、闪存等存储器。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (11)
1.一种数据同步***,其特征在于,所述***包括同步管理平台、数据同步节点以及消息队列服务器,其中:
所述同步管理平台,用于接收源数据库到目标数据库的数据同步任务,将所述数据同步任务对应的同步任务配置推送至所述数据同步节点;
所述数据同步节点,用于根据所述同步任务配置和所述源数据库的日志,从所述源数据库中读取需要同步的源数据,将所述源数据放入到所述消息队列服务器,当检测到订阅者订阅的所述源数据时,从所述消息队列服务器获取所述源数据,将所述源数据写入到订阅者设置的目标数据库。
2.如权利要求1所述的数据同步***,其特征在于,所述***还包括:
本地缓存服务器,用于在所述数据同步节点将所述源数据放入到消息队列服务器时,对所述数据同步节点要放入到所述消息队列服务器的所述源数据进行缓存,将缓存的所述源数据推送至所述消息队列服务器。
3.如权利要求1所述的数据同步***,其特征在于,所述***还包括:
外部缓存服务器,用于在所述数据同步节点将所述源数据写入到订阅者设置的目标数据库时,对从所述消息队列服务器获取的所述源数据进行缓存,将缓存的所述源数据写入到订阅者设置的目标数据库。
4.如权利要求1所述的数据同步***,其特征在于,所述数据同步节点还用于对传送的文件流进行检测,当检测到订阅者订阅的同步文件时,将所述同步文件发送到目标文件中。
5.一种基于权利要求1所述数据同步***的数据同步方法,其特征在于,包括:
根据所述同步管理平台发送的同步任务配置和源数据库的日志,数据同步节点从所述源数据库中读取需要同步的源数据,将所述源数据放入到消息队列服务器;
当检测到订阅者订阅的所述源数据时,数据同步节点从所述消息队列服务器获取所述源数据,将所述源数据写入到订阅者设置的目标数据库。
6.如权利要求5所述的数据同步方法,其特征在于,所述数据同步***还包括本地缓存服务器,将所述源数据放入到消息队列服务器的步骤包括:
将所述数据同步节点要放入到所述消息队列服务器的所述源数据缓存到所述本地缓存服务器,将缓存的所述源数据推送至所述消息队列服务器。
7.如权利要求5所述的数据同步方法,其特征在于,所述数据同步***还包括外部缓存服务器,将所述源数据写入到订阅者设置的目标数据库的步骤包括:
将从所述消息队列服务器获取的所述源数据缓存到所述外部缓存服务器,将缓存的所述源数据写入到订阅者设置的目标数据库。
8.如权利要求5所述的数据同步方法,其特征在于,还包括:
所述数据同步节点对传送的文件流进行检测,当检测到订阅者订阅的同步文件时,将所述同步文件发送到目标文件中。
9.一种基于权利要求1所述数据同步***的数据同步装置,其特征在于,包括:
数据发布单元,用于根据所述同步管理平台发送的同步任务配置和源数据库的日志,数据同步节点从所述源数据库中读取需要同步的源数据,将所述源数据放入到消息队列服务器;以及
数据写入单元,用于当检测到订阅者订阅的所述源数据时,数据同步节点从所述消息队列服务器获取所述源数据,将所述源数据写入到订阅者设置的目标数据库。
10.一种同步设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求5至8任一项所述方法的步骤。
11.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求5至8任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910999995.XA CN110765206A (zh) | 2019-10-21 | 2019-10-21 | 一种数据同步***、方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910999995.XA CN110765206A (zh) | 2019-10-21 | 2019-10-21 | 一种数据同步***、方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110765206A true CN110765206A (zh) | 2020-02-07 |
Family
ID=69332528
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910999995.XA Pending CN110765206A (zh) | 2019-10-21 | 2019-10-21 | 一种数据同步***、方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110765206A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111400408A (zh) * | 2020-04-13 | 2020-07-10 | 上海东普信息科技有限公司 | 数据同步方法、装置、设备及存储介质 |
CN111581244A (zh) * | 2020-05-14 | 2020-08-25 | 厦门中控智慧信息技术有限公司 | 一种异构***业务交易数据有序同步方法、***及设备 |
CN112380227A (zh) * | 2020-11-12 | 2021-02-19 | 平安科技(深圳)有限公司 | 基于消息队列的数据同步方法、装置、设备及存储介质 |
CN112597123A (zh) * | 2020-11-20 | 2021-04-02 | 贝壳技术有限公司 | 数据多版本动态切换方法及装置 |
CN112836236A (zh) * | 2021-02-04 | 2021-05-25 | 航天广通科技(深圳)有限公司 | 一种数据共享交换平台库表资源的订阅方法和*** |
CN113377863A (zh) * | 2020-03-10 | 2021-09-10 | 阿里巴巴集团控股有限公司 | 数据同步方法、装置、电子设备及计算机可读存储介质 |
CN115329006A (zh) * | 2022-08-31 | 2022-11-11 | 保利和悦生活科技服务有限公司 | 一种网络商城后台与第三方接口的数据同步方法及*** |
CN115630124A (zh) * | 2022-12-06 | 2023-01-20 | 北京志翔科技股份有限公司 | 数据互联方法、装置及设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030037029A1 (en) * | 2001-08-15 | 2003-02-20 | Iti, Inc. | Synchronization of plural databases in a database replication system |
US20100153351A1 (en) * | 2008-12-16 | 2010-06-17 | Yung Alex P | Techniques for real-time database processing |
CN105095364A (zh) * | 2015-06-26 | 2015-11-25 | 车智互联(北京)科技有限公司 | 一种数据同步***和方法 |
CN108256002A (zh) * | 2017-12-31 | 2018-07-06 | 广东欧珀移动通信有限公司 | 跨机房数据同步方法、装置、***以及服务器 |
CN109582731A (zh) * | 2018-10-18 | 2019-04-05 | 恒峰信息技术有限公司 | 一种数据实时同步方法及*** |
CN110162571A (zh) * | 2019-04-26 | 2019-08-23 | 厦门市美亚柏科信息股份有限公司 | 一种异构数据库之间数据同步的***、方法、存储介质 |
-
2019
- 2019-10-21 CN CN201910999995.XA patent/CN110765206A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030037029A1 (en) * | 2001-08-15 | 2003-02-20 | Iti, Inc. | Synchronization of plural databases in a database replication system |
US20100153351A1 (en) * | 2008-12-16 | 2010-06-17 | Yung Alex P | Techniques for real-time database processing |
CN105095364A (zh) * | 2015-06-26 | 2015-11-25 | 车智互联(北京)科技有限公司 | 一种数据同步***和方法 |
CN108256002A (zh) * | 2017-12-31 | 2018-07-06 | 广东欧珀移动通信有限公司 | 跨机房数据同步方法、装置、***以及服务器 |
CN109582731A (zh) * | 2018-10-18 | 2019-04-05 | 恒峰信息技术有限公司 | 一种数据实时同步方法及*** |
CN110162571A (zh) * | 2019-04-26 | 2019-08-23 | 厦门市美亚柏科信息股份有限公司 | 一种异构数据库之间数据同步的***、方法、存储介质 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113377863A (zh) * | 2020-03-10 | 2021-09-10 | 阿里巴巴集团控股有限公司 | 数据同步方法、装置、电子设备及计算机可读存储介质 |
CN113377863B (zh) * | 2020-03-10 | 2022-04-29 | 阿里巴巴集团控股有限公司 | 数据同步方法、装置、电子设备及计算机可读存储介质 |
CN111400408A (zh) * | 2020-04-13 | 2020-07-10 | 上海东普信息科技有限公司 | 数据同步方法、装置、设备及存储介质 |
CN111400408B (zh) * | 2020-04-13 | 2023-06-09 | 上海东普信息科技有限公司 | 数据同步方法、装置、设备及存储介质 |
CN111581244B (zh) * | 2020-05-14 | 2023-04-25 | 厦门熵基科技有限公司 | 一种异构***业务交易数据有序同步方法、***及设备 |
CN111581244A (zh) * | 2020-05-14 | 2020-08-25 | 厦门中控智慧信息技术有限公司 | 一种异构***业务交易数据有序同步方法、***及设备 |
CN112380227A (zh) * | 2020-11-12 | 2021-02-19 | 平安科技(深圳)有限公司 | 基于消息队列的数据同步方法、装置、设备及存储介质 |
CN112380227B (zh) * | 2020-11-12 | 2024-05-07 | 平安科技(深圳)有限公司 | 基于消息队列的数据同步方法、装置、设备及存储介质 |
CN112597123A (zh) * | 2020-11-20 | 2021-04-02 | 贝壳技术有限公司 | 数据多版本动态切换方法及装置 |
CN112597123B (zh) * | 2020-11-20 | 2023-01-06 | 贝壳技术有限公司 | 数据多版本动态切换方法及装置 |
CN112836236A (zh) * | 2021-02-04 | 2021-05-25 | 航天广通科技(深圳)有限公司 | 一种数据共享交换平台库表资源的订阅方法和*** |
CN115329006A (zh) * | 2022-08-31 | 2022-11-11 | 保利和悦生活科技服务有限公司 | 一种网络商城后台与第三方接口的数据同步方法及*** |
CN115329006B (zh) * | 2022-08-31 | 2023-08-04 | 保利和悦生活科技服务有限公司 | 一种网络商城后台与第三方接口的数据同步方法及*** |
CN115630124A (zh) * | 2022-12-06 | 2023-01-20 | 北京志翔科技股份有限公司 | 数据互联方法、装置及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110765206A (zh) | 一种数据同步***、方法、装置、设备及存储介质 | |
CN107506451B (zh) | 用于数据交互的异常信息监控方法及装置 | |
JP6865219B2 (ja) | 連続クエリ処理におけるイベントバッチ処理、出力シーケンス化、およびログベースの状態記憶 | |
US8418003B2 (en) | Log collecting apparatus, program, method, and system | |
CN111177161B (zh) | 数据处理方法、装置、计算设备和存储介质 | |
WO2022063284A1 (zh) | 数据同步方法、装置、设备及计算机可读介质 | |
CN110968438B (zh) | 事件消息异步通知方法、装置、电子设备、存储介质 | |
US8683489B2 (en) | Message queue transaction tracking using application activity trace data | |
EP2779583B1 (en) | Telecommunication method and system | |
CN110753084B (zh) | 上链数据读取方法、缓存服务器及计算机可读存储介质 | |
JP6987340B2 (ja) | データベースのデータ変更要求処理方法及び装置 | |
CN110222039B (zh) | 数据存储及垃圾数据清理方法、装置、设备及存储介质 | |
US12001450B2 (en) | Distributed table storage processing method, device and system | |
CN113792094A (zh) | 一种数据同步***、方法、设备及介质 | |
CN113806301A (zh) | 数据同步方法、装置、服务器及存储介质 | |
CN111338834A (zh) | 数据存储方法和装置 | |
CN114676199A (zh) | 一种同步方法、同步***、计算机设备和存储介质 | |
CN105574026A (zh) | 非关系型数据库支持事务的方法及装置 | |
CN116501700B (zh) | 一种app格式化文件离线存储方法、装置、设备及存储介质 | |
CN111753141B (zh) | 一种数据管理方法及相关设备 | |
US9767180B2 (en) | Floating time dimension design | |
CN114844771A (zh) | 微服务***的监测方法、装置、存储介质、程序产品 | |
CN112632211A (zh) | 用于移动机器人的语义信息处理方法与设备 | |
CN112817795A (zh) | 一种接口级别数据库灾备方法、装置及电子设备 | |
CN113127261A (zh) | 文件处理方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |