CN105701190A - 一种数据同步的方法和装置 - Google Patents

一种数据同步的方法和装置 Download PDF

Info

Publication number
CN105701190A
CN105701190A CN201610013586.4A CN201610013586A CN105701190A CN 105701190 A CN105701190 A CN 105701190A CN 201610013586 A CN201610013586 A CN 201610013586A CN 105701190 A CN105701190 A CN 105701190A
Authority
CN
China
Prior art keywords
chronization
data
database
transaction
data syn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610013586.4A
Other languages
English (en)
Inventor
赵程章
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jin Zheng Science And Technology Co Ltd Of Shenzhen
Original Assignee
Jin Zheng Science And Technology Co Ltd Of Shenzhen
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jin Zheng Science And Technology Co Ltd Of Shenzhen filed Critical Jin Zheng Science And Technology Co Ltd Of Shenzhen
Priority to CN201610013586.4A priority Critical patent/CN105701190A/zh
Publication of CN105701190A publication Critical patent/CN105701190A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2365Ensuring data consistency and integrity

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及数据库技术领域,提供了一种数据同步的方法和装置,旨在解决现有技术中对磁盘数据库的处理性能不高,以及内存数据库的数据无法持久化安全存储的问题。所述方法包括:将磁盘数据库中的数据同步到内存数据库中,使得内存数据库和所述磁盘数据库的数据一致;当内存数据库中的数据发生变化时,将导致数据发生变化的数据库事务记录到事务日志中;根据事务日志,将内存数据库中发生变化的数据同步至磁盘数据库。本发明提供的技术方案实现了内存数据库到磁盘数据库的实时同步,使得在内存数据库满足对数据的高处理性能的同时,磁盘数据库满足对数据进行持久化的安全存储,从而充分发挥了内存数据库的高速度和磁盘数据库的高可靠性。

Description

一种数据同步的方法和装置
技术领域
本发明涉及数据库技术领域,尤其涉及一种数据同步的方法和装置。
背景技术
传统的数据库管理***把所有数据都放在磁盘上进行管理,由于I/O(Input/Output,输入/输出)处理等方面的原因,往往导致对磁盘数据的处理性能不高,即使引入了SSD(SolidStateDrive,固态硬盘),其对性能的提升依然有限。
而内存数据库将数据几乎全部放入内存中,并且对数据库的操作算法和数据结构进行了各种针对性的优化设计,从而使内存数据库的数据处理速度比传统磁盘数据库快10倍以上,甚至可以达到1000倍。
但内存数据库由于将数据保存在内存中,一旦主机宕机,数据将会丢失,造成无法对数据进行持久化的安全存储。
发明内容
本发明的目的在于提供一种数据同步的方法和装置,旨在解决现有技术中对磁盘数据库的处理性能不高,以及内存数据库的数据无法持久化安全存储的问题。
本发明的第一方面,提供一种数据同步的方法,包括:
将磁盘数据库中的数据同步到内存数据库中,使得所述内存数据库和所述磁盘数据库的数据一致;
当所述内存数据库中的数据发生变化时,将导致所述数据发生变化的数据库事务记录到事务日志中;
根据所述事务日志,将所述内存数据库中发生变化的数据同步至所述磁盘数据库。
本发明的第二方面,提供一种数据同步的装置,包括:
导出模块,用于将磁盘数据库中的数据同步到内存数据库中,使得所述内存数据库和所述磁盘数据库的数据一致;
记录模块,用于当所述内存数据库中的数据发生变化时,将导致所述数据发生变化的数据库事务记录到事务日志中;
同步模块,用于根据所述事务日志,将所述内存数据库中发生变化的数据同步至所述磁盘数据库。
本发明与现有技术相比存在的有益效果是:通过当内存数据库中的数据发生变化时,将导致数据发生变化的数据库事务记录到事务日志中,并根据事务日志将内存数据库中发生变化的数据同步至磁盘数据库,实现内存数据库到磁盘数据库的实时同步,使得在内存数据库满足对数据的高处理性能的同时,磁盘数据库满足对数据进行持久化的安全存储,从而充分发挥了内存数据库的高速度和磁盘数据库的高可靠性,因而适合在需要同时满足数据处理高速性和数据高可靠性的场合使用。
附图说明
图1是本发明实施例一提供的数据同步的方法的流程图;
图2是本发明实施例二提供的数据同步的方法的流程图;
图3是本发明实施例三提供的数据同步的装置的结构示意图;
图4是本发明实施例四提供的数据同步的装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
以下结合具体附图对本发明的实现进行详细的描述。
实施例一:
图1是本发明实施例一提供的数据同步的方法的流程图,具体包括步骤S101至S103,详述如下:
S101、将磁盘数据库中的数据同步到内存数据库中,使得内存数据库和磁盘数据库的数据一致。
具体地,在***启动的时候,将磁盘数据库中的数据同步到内存数据库中,使得内存数据库和磁盘数据库的数据一致。
通常情况下,为了提高性能,应用程序与内存数据库位于同一台服务器中,而为了数据的安全性,可将磁盘数据库和内存数据库分别配置于不同的服务器中。
S102、当内存数据库中的数据发生变化时,将导致数据发生变化的数据库事务记录到事务日志中。
数据库事务(DatabaseTransaction),是指作为单个逻辑工作单元执行的一系列操作。
具体地,在***运行过程中,对内存数据库的操作可能会使得内存数据库中的数据发生变化,通过利用数据库事务执行相应的操作,使得内存数据库中的数据发生相应的变化,并将该数据库事务记录到事务日志中。数据的变化具体可包括:新增数据、删除数据以及修改数据。
S103、根据事务日志,将内存数据库中发生变化的数据同步至磁盘数据库。
具体地,对事务日志进行解析,根据事务日志中记录的数据库事务的内容,执行对磁盘数据库的操作,将内存数据库中发生变化的数据同步到磁盘数据库中,即对磁盘数据库中的相应数据执行相同的操作,使得磁盘数据库中的数据与内存数据库中的数据保持一致。
优选地,可以通过调用ODBC(OpenDatabaseConnectivity,开放数据库互联)驱动提供的接口来执行对磁盘数据库的操作。
本实施例中,通过当内存数据库中的数据发生变化时,将导致数据发生变化的数据库事务记录到事务日志中,并根据事务日志将内存数据库中发生变化的数据同步至磁盘数据库,实现内存数据库到磁盘数据库的实时同步,使得在内存数据库满足对数据的高处理性能的同时,磁盘数据库满足对数据进行持久化的安全存储,从而充分发挥了内存数据库的高速度和磁盘数据库的高可靠性,因而适合在需要同时满足数据处理高速性和数据高可靠性的场合使用。
实施例二:
图2是本发明实施例二提供的数据同步的方法的流程图,具体包括步骤S201至S204,详述如下:
S201、将磁盘数据库中的数据同步到内存数据库中,使得内存数据库和磁盘数据库的数据一致。
具体地,在***启动的时候,将磁盘数据库中的数据同步到内存数据库中,使得内存数据库和磁盘数据库的数据一致。
通常情况下,为了提高性能,应用程序与内存数据库位于同一台服务器中,而为了数据的安全性,可将磁盘数据库和内存数据库分别配置于不同的服务器中。
S202、当内存数据库中的数据发生变化时,将导致数据发生变化的数据库事务记录到事务日志中。
数据库事务(DatabaseTransaction),是指作为单个逻辑工作单元执行的一系列操作。
具体地,在***运行过程中,对内存数据库的操作可能会使得内存数据库中的数据发生变化,通过利用数据库事务执行相应的操作,使得内存数据库中的数据发生相应的变化,并将该数据库事务记录到事务日志中。数据的变化具体可包括:新增数据、删除数据以及修改数据。
S203、检测当前时间是否到达预置同步时间。
具体地,预置同步时间为预先设定的执行内存数据库和磁盘数据库的数据同步的时间。
如果每执行一个数据库事务,就提交一次对磁盘数据库的同步,那么由于提交过程比较耗时,就会导致同步的效率降低,因此可以将数据库事务累积到一定数量后再一次性提交,从而减少对磁盘数据库的提交次数,提高同步效率。但是在内存数据库的负载率较低的时候,可能会导致长时间内不能积累到足够数量的数据库事务来触发提交对磁盘数据库的同步,因此可以设置一个预置的同步时间,定时将内存数据库中发生变化的数据同步到磁盘数据库中。
S204、若当前时间未到达预置同步时间,则检测事务日志中未同步的数据库事务的数量是否大于或等于预置数量,若大于或等于,则根据未同步的数据库事务,将内存数据库中发生变化的数据同步至磁盘数据库。
具体地,如果当前时间没有到达预置同步时间,则说明还没有达到触发定时同步的条件,此时需要根据事务日志中未同步的数据库事务的数量来判断是否触发提交对磁盘数据库的同步任务。
当检测到事务日志中未同步的数据库事务的数量大于或等于预置数量时,则触发同步任务,根据未同步的数据库事务,将前一次执行同步任务与本次执行同步任务的期间内,内存数据库中发生变化的数据同步至磁盘数据库。
进一步地,将内存数据库中发生变化的数据同步至磁盘数据库的过程,具体可以通过如下步骤S2041至步骤S2043实现,详细说明如下:
S2041、将数据库事务按照所操作的表进行分类,并为同一类数据库事务对应生成一个数据同步任务。
数据库事务中往往会操作多个表,将对同一个表的操作放在一起执行,可以避免对表的反复查找和读取,从而提高同步过程的执行效率。
具体地,将数据库事务按照所操作的表进行分类,使得对同一个表操作的数据库事务归为同一类,并为同一类数据库事务对应生成一个数据同步任务。
S2042、为每一个数据同步任务分配一个对应的线程,该线程用于执行对应的数据同步任务。
具体地,一个线程用于执行一个数据同步任务,一个数据同步任务只对磁盘数据库中的某一个表进行操作。
S2043、通过多线程并发执行数据同步任务,将同一类数据库事务对应的发生变化的数据按照操作类型,以一条语句同步一类操作类型的数据的方式,分批同步至磁盘数据库。
在对磁盘数据库进行同步的过程中,相对于一条语句执行一个操作并循环执行多次,一条语句执行多个操作的执行效率更高。由于每一个线程只执行对同一个表的操作,因此将每一个线程所对应的发生变化的数据按照操作类型进行分类合并,可将相同类型的多个操作合并为一个操作,作为一条语句执行,从而提高同步过程的执行效率。
例如,一个数据同步任务中对某一个表的操作包括了多条删除不同字段的操作以及多条增加字段的操作,如果每个语句只对应执行一个删除字段或增加字段的操作,则执行效率较低,因此可以根据操作类型,将所有的删除字段的操作合并到一条语句中执行,将所有的增加字段的操作合并到另一条语句中执行,从而提高执行的效率。
S205、若当前时间到达预置同步时间,则获取本次同步周期内记录的所有数据库事务,根据本次同步周期内记录的所有数据库事务,将内存数据库中发生变化的数据同步至磁盘数据库。
具体地,如果当前时间到达预置同步时间,则无论事务日志中未同步的数据库事务的数量是否达到预置数量,都直接获取本次同步周期内记录的所有数据库事务,并根据这些数据库事务,将内存数据库中发生变化的数据同步至所述磁盘数据库。
进一步地,将内存数据库中发生变化的数据同步至磁盘数据库的过程,具体可以通过与步骤S204中的步骤S2041至步骤S2043相同的过程实现,此处不再赘述。
本实施例中,通过累积一定数量的数据库事务后一次性提交对磁盘数据库的同步,减少对磁盘数据库的提交次数,提高同步效率;通过设置预置同步时间,定时将内存数据库中发生变化的数据同步至磁盘数据库,避免累积数据库事务一次性提交可能导致的内存数据库和磁盘数据库不能及时同步;通过将数据库事务按照所操作的表进行分类,并且对每一个表的操作按照操作类型分类合并,从而提高同步过程的执行效率。本实施例中的技术方案实现了内存数据库到磁盘数据库的实时同步,使得在内存数据库满足对数据的高处理性能的同时,磁盘数据库满足对数据进行持久化的安全存储,从而充分发挥了内存数据库的高速度和磁盘数据库的高可靠性,因而适合在需要同时满足数据处理高速性和数据高可靠性的场合使用。
实施例三:
图3是本发明实施例三提供的数据同步的装置的结构示意图,为了便于说明,仅示出了与本发明实施例相关的部分。图3示例的用于数据同步的装置可以是前述实施例一提供的用于数据同步的方法的执行主体,其可以是服务器或者服务器中的一个功能模块。图3示例的用于数据同步的装置主要包括:导出模块31、记录模块32和同步模块33,各功能模块详细说明如下:
导出模块31,用于将磁盘数据库中的数据同步到内存数据库中,使得内存数据库和磁盘数据库的数据一致;
记录模块32,用于当内存数据库中的数据发生变化时,将导致数据发生变化的数据库事务记录到事务日志中;
同步模块33,用于根据事务日志,将内存数据库中发生变化的数据同步至磁盘数据库。
本实施例提供的数据同步的装置中各模块实现各自功能的过程,具体可参考前述图1所示实施例的描述,此处不再赘述。
从上述图3示例的用于数据同步的装置可知,本实施例中,通过当内存数据库中的数据发生变化时,将导致数据发生变化的数据库事务记录到事务日志中,并根据事务日志将内存数据库中发生变化的数据同步至磁盘数据库,实现内存数据库到磁盘数据库的实时同步,使得在内存数据库满足对数据的高处理性能的同时,磁盘数据库满足对数据进行持久化的安全存储,从而充分发挥了内存数据库的高速度和磁盘数据库的高可靠性,因而适合在需要同时满足数据处理高速性和数据高可靠性的场合使用。
实施例四:
图4是本发明实施例四提供的数据同步的装置的结构示意图,为了便于说明,仅示出了与本发明实施例相关的部分。图4示例的用于数据同步的装置可以是前述实施例二提供的用于数据同步的方法的执行主体,其可以是服务器或者服务器中的一个功能模块。图4示例的用于数据同步的装置主要包括:导出模块41、记录模块42和同步模块43,各功能模块详细说明如下:
导出模块41,用于将磁盘数据库中的数据同步到内存数据库中,使得内存数据库和磁盘数据库的数据一致;
记录模块42,用于当内存数据库中的数据发生变化时,将导致数据发生变化的数据库事务记录到事务日志中;
同步模块43,用于根据事务日志,将内存数据库中发生变化的数据同步至磁盘数据库。
具体地,同步模块43包括:
第一检测子模块431,用于检测事务日志中未同步的数据库事务的数量是否大于或等于预置数量;
同步子模块432,用于若第一检测子模块431检测到事务日志中未同步的数据库事务的数量大于或等于预置数量,则根据未同步的数据库事务,将内存数据库中发生变化的数据同步至磁盘数据库。
进一步地,同步模块43,还包括:
第二检测子模块433,用于检测当前时间是否到达预置同步时间。
进一步地,同步子模块432,还用于
若第二检测子模块433检测到当前时间未到达预置同步时间,则检测事务日志中未同步的数据库事务的数量是否大于或等于预置数量,若大于或等于,则根据未同步的数据库事务,将内存数据库中发生变化的数据同步至磁盘数据库;
若第二检测子模块433检测到当前时间到达预置同步时间,则获取本次同步周期内记录的所有数据库事务,根据本次同步周期内记录的所有数据库事务,将内存数据库中发生变化的数据同步至磁盘数据库。
进一步地,同步模块43,还包括:
数据同步任务生成子模块434,用于将数据库事务按照所操作的表进行分类,并为同一类数据库事务对应生成一个数据同步任务;
线程分配子模块435,用于为每一个数据同步任务分配一个对应的线程,该线程用于执行对应的数据同步任务;
进一步地,同步子模块432,还用于通过多线程并发执行数据同步任务,将发生变化的数据同步至磁盘数据库。
进一步地,同步子模块432,还用于通过多线程并发执行数据同步任务,将同一类数据库事务对应的发生变化的数据按照操作类型,以一条语句同步一类操作类型的数据的方式,分批同步至磁盘数据库。
本实施例提供的数据同步的装置中各模块实现各自功能的过程,具体可参考前述图2所示实施例的描述,此处不再赘述。。
从上述图4示例的用于数据同步的装置可知,本实施例中,通过累积一定数量的数据库事务后一次性提交对磁盘数据库的同步,减少对磁盘数据库的提交次数,提高同步效率;通过设置预置同步时间,定时将内存数据库中发生变化的数据同步至磁盘数据库,避免累积数据库事务一次性提交可能导致的内存数据库和磁盘数据库不能及时同步;通过将数据库事务按照所操作的表进行分类,并且对每一个表的操作按照操作类型分类合并,从而提高同步过程的执行效率。本实施例中的技术方案实现了内存数据库到磁盘数据库的实时同步,使得在内存数据库满足对数据的高处理性能的同时,磁盘数据库满足对数据进行持久化的安全存储,从而充分发挥了内存数据库的高速度和磁盘数据库的高可靠性,因而适合在需要同时满足数据处理高速性和数据高可靠性的场合使用。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每一个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同或者相似的部分互相参见即可。对于装置类和***类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
值得注意的是,上述装置实施例中,所包括的各个模块和单元只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能模块和单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
本领域普通技术人员可以理解,实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,相应的程序可以存储于一计算机可读取存储介质中,所述的存储介质,如ROM/RAM、磁盘或光盘等。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据同步的方法,其特征在于,包括:
将磁盘数据库中的数据同步到内存数据库中,使得所述内存数据库和所述磁盘数据库的数据一致;
当所述内存数据库中的数据发生变化时,将导致所述数据发生变化的数据库事务记录到事务日志中;
根据所述事务日志,将所述内存数据库中发生变化的数据同步至所述磁盘数据库。
2.根据权利要求1所述的数据同步的方法,其特征在于,所述根据所述事务日志,将所述内存数据库中发生变化的数据同步至所述磁盘数据库包括:
检测所述事务日志中未同步的数据库事务的数量是否大于或等于预置数量,若大于或等于,则根据所述未同步的数据库事务,将所述内存数据库中发生变化的数据同步至所述磁盘数据库。
3.根据权利要求2所述的数据同步的方法,其特征在于,所述检测所述事务日志中未同步的数据库事务的数量是否大于或等于预置数量,若大于或等于,则根据所述未同步的数据库事务,将所述内存数据库中发生变化的数据同步至所述磁盘数据库包括:
检测当前时间是否到达预置同步时间;
若所述当前时间未到达所述预置同步时间,则检测所述事务日志中未同步的数据库事务的数量是否大于或等于预置数量,若大于或等于,则根据所述未同步的数据库事务,将所述内存数据库中发生变化的数据同步至所述磁盘数据库;
若所述当前时间到达所述预置同步时间,则获取本次同步周期内记录的所有数据库事务,根据所述本次同步周期内记录的所有数据库事务,将所述内存数据库中发生变化的数据同步至所述磁盘数据库。
4.根据权利要1至3任意一项所述的数据同步的方法,其特征在于,所述将所述内存数据库中发生变化的数据同步至所述磁盘数据库包括:
将所述数据库事务按照所操作的表进行分类,并为同一类数据库事务对应生成一个数据同步任务;
为每一个数据同步任务分配一个对应的线程,所述线程用于执行对应的数据同步任务;
通过多线程并发执行所述数据同步任务,将所述发生变化的数据同步至所述磁盘数据库。
5.根据权利要求4所述的数据同步的方法,其特征在于,所述通过多线程并发执行所述数据同步任务,将所述发生变化的数据同步至所述磁盘数据库包括:
通过多线程并发执行所述数据同步任务,将所述同一类数据库事务对应的所述发生变化的数据按照操作类型,以一条语句同步一类操作类型的数据的方式,分批同步至所述磁盘数据库。
6.一种数据同步的装置,其特征在于,包括:
导出模块,用于将磁盘数据库中的数据同步到内存数据库中,使得所述内存数据库和所述磁盘数据库的数据一致;
记录模块,用于当所述内存数据库中的数据发生变化时,将导致所述数据发生变化的数据库事务记录到事务日志中;
同步模块,用于根据所述事务日志,将所述内存数据库中发生变化的数据同步至所述磁盘数据库。
7.根据权利要求6所述的数据同步的装置,其特征在于,所述同步模块包括:
第一检测子模块,用于检测所述事务日志中未同步的数据库事务的数量是否大于或等于预置数量;
同步子模块,用于若所述第一检测子模块检测到所述事务日志中未同步的数据库事务的数量大于或等于所述预置数量,则根据所述未同步的数据库事务,将所述内存数据库中发生变化的数据同步至所述磁盘数据库。
8.根据权利要求7所述的数据同步的装置,其特征在于,所述同步模块还包括:
第二检测子模块,用于检测当前时间是否到达预置同步时间;
所述同步子模块,还用于若所述第二检测子模块检测到所述当前时间未到达所述预置同步时间,则检测所述事务日志中未同步的数据库事务的数量是否大于或等于预置数量,若大于或等于,则根据所述未同步的数据库事务,将所述内存数据库中发生变化的数据同步至所述磁盘数据库;
所述同步子模块,还用于若所述第二检测子模块检测到所述当前时间到达所述预置同步时间,则获取本次同步周期内记录的所有数据库事务,根据所述本次同步周期内记录的所有数据库事务,将所述内存数据库中发生变化的数据同步至所述磁盘数据库。
9.根据权利要8所述的数据同步的装置,其特征在于,所述同步模块还包括:
数据同步任务生成子模块,用于将所述数据库事务按照所操作的表进行分类,并为同一类数据库事务对应生成一个数据同步任务;
线程分配子模块,用于为每一个数据同步任务分配一个对应的线程,所述线程用于执行对应的数据同步任务;
所述同步子模块,还用于通过多线程并发执行所述数据同步任务,将所述发生变化的数据同步至所述磁盘数据库。
10.根据权利要求9所述的数据同步的装置,其特征在于,所述同步子模块,还用于通过多线程并发执行所述数据同步任务,将所述同一类数据库事务对应的所述发生变化的数据按照操作类型,以一条语句同步一类操作类型的数据的方式,分批同步至所述磁盘数据库。
CN201610013586.4A 2016-01-07 2016-01-07 一种数据同步的方法和装置 Pending CN105701190A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610013586.4A CN105701190A (zh) 2016-01-07 2016-01-07 一种数据同步的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610013586.4A CN105701190A (zh) 2016-01-07 2016-01-07 一种数据同步的方法和装置

Publications (1)

Publication Number Publication Date
CN105701190A true CN105701190A (zh) 2016-06-22

Family

ID=56227094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610013586.4A Pending CN105701190A (zh) 2016-01-07 2016-01-07 一种数据同步的方法和装置

Country Status (1)

Country Link
CN (1) CN105701190A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108183965A (zh) * 2018-01-15 2018-06-19 郑州云海信息技术有限公司 一种数据同步方法、装置、设备、***及可读存储介质
CN108924206A (zh) * 2018-06-26 2018-11-30 郑州云海信息技术有限公司 一种分布式***的集群事件同步方法、装置及设备
CN109271450A (zh) * 2018-10-10 2019-01-25 北京百度网讯科技有限公司 数据库同步方法、装置、服务器和存储介质
CN109981774A (zh) * 2019-03-22 2019-07-05 联想(北京)有限公司 数据缓存方法和数据缓存装置
CN110019050A (zh) * 2017-10-19 2019-07-16 中兴通讯股份有限公司 一种数据回滚方法、***、设备及计算机可读存储介质
CN110019494A (zh) * 2017-07-26 2019-07-16 北京国双科技有限公司 媒体数据处理方法和装置、存储介质及处理器
CN110209642A (zh) * 2018-02-05 2019-09-06 北京智明星通科技股份有限公司 信息处理的方法、装置、服务器及计算机可读介质
CN111026772A (zh) * 2019-11-26 2020-04-17 中科驭数(北京)科技有限公司 用于保证数据库修改永久性的方法及装置
CN111159142A (zh) * 2018-11-07 2020-05-15 马上消费金融股份有限公司 一种数据处理方法及装置
CN111291022A (zh) * 2020-02-10 2020-06-16 刘翱天 一种基于区块链的数据存储***
CN115329006A (zh) * 2022-08-31 2022-11-11 保利和悦生活科技服务有限公司 一种网络商城后台与第三方接口的数据同步方法及***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101640587A (zh) * 2008-08-01 2010-02-03 华为技术有限公司 数据同步方法及装置
CN101876996A (zh) * 2009-12-01 2010-11-03 广州从兴电子开发有限公司 一种内存数据库到文件数据库的数据同步方法及***
CN101944114A (zh) * 2010-09-16 2011-01-12 深圳天源迪科信息技术股份有限公司 内存数据库和物理数据库间的数据同步方法
CN102279885A (zh) * 2011-08-16 2011-12-14 中兴通讯股份有限公司 内存数据库对数据的操作方法及装置
CN102929983A (zh) * 2012-10-18 2013-02-13 京信通信***(中国)有限公司 嵌入式数据库同步到flash数据库的方法和装置
CN102945251A (zh) * 2012-10-12 2013-02-27 浪潮电子信息产业股份有限公司 一种利用内存数据库技术优化磁盘数据库性能的方法
EP2767912A2 (en) * 2013-01-27 2014-08-20 Travel Holdings Inc. In-memory real-time synchronized database system and method
CN104699541A (zh) * 2015-03-30 2015-06-10 北京奇虎科技有限公司 同步数据的方法、装置、数据传输组件及***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101640587A (zh) * 2008-08-01 2010-02-03 华为技术有限公司 数据同步方法及装置
CN101876996A (zh) * 2009-12-01 2010-11-03 广州从兴电子开发有限公司 一种内存数据库到文件数据库的数据同步方法及***
CN101944114A (zh) * 2010-09-16 2011-01-12 深圳天源迪科信息技术股份有限公司 内存数据库和物理数据库间的数据同步方法
CN102279885A (zh) * 2011-08-16 2011-12-14 中兴通讯股份有限公司 内存数据库对数据的操作方法及装置
CN102945251A (zh) * 2012-10-12 2013-02-27 浪潮电子信息产业股份有限公司 一种利用内存数据库技术优化磁盘数据库性能的方法
CN102929983A (zh) * 2012-10-18 2013-02-13 京信通信***(中国)有限公司 嵌入式数据库同步到flash数据库的方法和装置
EP2767912A2 (en) * 2013-01-27 2014-08-20 Travel Holdings Inc. In-memory real-time synchronized database system and method
CN104699541A (zh) * 2015-03-30 2015-06-10 北京奇虎科技有限公司 同步数据的方法、装置、数据传输组件及***

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110019494A (zh) * 2017-07-26 2019-07-16 北京国双科技有限公司 媒体数据处理方法和装置、存储介质及处理器
CN110019050A (zh) * 2017-10-19 2019-07-16 中兴通讯股份有限公司 一种数据回滚方法、***、设备及计算机可读存储介质
CN108183965A (zh) * 2018-01-15 2018-06-19 郑州云海信息技术有限公司 一种数据同步方法、装置、设备、***及可读存储介质
CN110209642A (zh) * 2018-02-05 2019-09-06 北京智明星通科技股份有限公司 信息处理的方法、装置、服务器及计算机可读介质
CN108924206A (zh) * 2018-06-26 2018-11-30 郑州云海信息技术有限公司 一种分布式***的集群事件同步方法、装置及设备
CN109271450A (zh) * 2018-10-10 2019-01-25 北京百度网讯科技有限公司 数据库同步方法、装置、服务器和存储介质
CN109271450B (zh) * 2018-10-10 2020-12-04 北京百度网讯科技有限公司 数据库同步方法、装置、服务器和存储介质
CN111159142A (zh) * 2018-11-07 2020-05-15 马上消费金融股份有限公司 一种数据处理方法及装置
CN109981774A (zh) * 2019-03-22 2019-07-05 联想(北京)有限公司 数据缓存方法和数据缓存装置
CN109981774B (zh) * 2019-03-22 2021-02-19 联想(北京)有限公司 数据缓存方法和数据缓存装置
CN111026772A (zh) * 2019-11-26 2020-04-17 中科驭数(北京)科技有限公司 用于保证数据库修改永久性的方法及装置
CN111026772B (zh) * 2019-11-26 2020-11-27 中科驭数(北京)科技有限公司 用于保证数据库修改永久性的方法及装置
CN111291022A (zh) * 2020-02-10 2020-06-16 刘翱天 一种基于区块链的数据存储***
CN111291022B (zh) * 2020-02-10 2024-01-05 刘翱天 一种基于区块链的数据存储***
CN115329006A (zh) * 2022-08-31 2022-11-11 保利和悦生活科技服务有限公司 一种网络商城后台与第三方接口的数据同步方法及***
CN115329006B (zh) * 2022-08-31 2023-08-04 保利和悦生活科技服务有限公司 一种网络商城后台与第三方接口的数据同步方法及***

Similar Documents

Publication Publication Date Title
CN105701190A (zh) 一种数据同步的方法和装置
CN108170768B (zh) 数据库同步方法、装置及可读介质
CN110442560B (zh) 一种日志重演方法、装置、服务器和存储介质
US9619430B2 (en) Active non-volatile memory post-processing
CN106354583B (zh) 一种MySQL数据库的热备份方法与***
CN109710572B (zh) 一种基于HBase的文件分片方法
KR20100070968A (ko) 클러스터 데이터 관리 시스템 및 클러스터 데이터 관리 시스템에서 병렬 처리를 이용한 데이터 복구 방법
CN105049260B (zh) 日志管理方法和装置
CN104699541A (zh) 同步数据的方法、装置、数据传输组件及***
CN105824846B (zh) 数据迁移方法及装置
CN101446966A (zh) 数据存储方法及***
CN105574141B (zh) 一种对数据库进行数据迁移的方法和装置
CN103049533A (zh) 一种快速向数据库加载数据的方法
CN104699723A (zh) 数据交换适配器、异构***之间数据同步***和方法
WO2021012932A1 (zh) 事务回滚方法及装置、数据库、***、计算机存储介质
US10496659B2 (en) Database grouping set query
CN101093454A (zh) 一种在分布式***中执行sql脚本文件的方法和装置
CN109885642B (zh) 面向全文检索的分级存储方法及装置
CN109684298A (zh) 数据库迁移方法、装置、设备及存储介质
CN104424240A (zh) 多表关联方法、主服务节点、计算节点及***
CN102053855B (zh) 一种软件的生成***及方法
CN102609484A (zh) 一种通用***日志管理方法
CN101226527B (zh) 双核库数据同步方法
US9177274B2 (en) Queue with segments for task management
CN108536822A (zh) 数据迁移方法、装置、***及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160622