CN113515574A - 一种数据同步方法及装置 - Google Patents
一种数据同步方法及装置 Download PDFInfo
- Publication number
- CN113515574A CN113515574A CN202110532705.8A CN202110532705A CN113515574A CN 113515574 A CN113515574 A CN 113515574A CN 202110532705 A CN202110532705 A CN 202110532705A CN 113515574 A CN113515574 A CN 113515574A
- Authority
- CN
- China
- Prior art keywords
- node
- log
- synchronization
- location
- master
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000004044 response Effects 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 18
- 230000001360 synchronised effect Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 13
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/273—Asynchronous replication or reconciliation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2358—Change logging, detection, and notification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及计算机领域,特别涉及一种数据同步方法及装置,用于发生主从切换时快速恢复同步,该方法为:获取第一节点与第二节点之间的位置对应关系,其中,第一节点为主节点,第二节点为从节点,位置对应关系中至少包含第一节点的日志同步位置,以及对应的第二节点的日志同步位置;若监控到第一节点和第二节点之间进行主从切换,则基于位置对应关系和第一节点的当前日志同步位置,得到第二节点的目标日志位置;基于目标日志位置,进行第一节点与第二节点之间的数据同步。这样,在发生主从切换后,可以快速确定新的主节点的目标日志位置,进而根据目标日志位置,快速恢复同步,避免了数据丢失,保证同步高可用。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种数据同步方法及装置。
背景技术
在业务端对源端数据库进行操作时,经常需要将对源端数据库的操作同步至目的端,这一过程称为数据同步。目的端可以是指需要使用源端数据库的数据的公共组件。以源端数据库采用关系型数据库管理***(MySQL)数据库为例,目的端可以是MySQL、远程字典服务(Remote Dictionary Server,Redis)、分布式发布订阅消息***(Kafka)等。
源端数据库通常采用主从架构,主从架构使得数据可以从一个数据库服务器同步到另一个数据库服务器上。在进行数据同步的过程中,如果发生主从切换,由于新的主节点存在同步落后、数据写入等情况,因此,需要确定新的主节点的起始同步位置。
目前,为避免数据丢失,在发生主从切换时,通常将新的主节点的数据库日志中,距离切换时刻设定时长的时刻对应的日志位置,作为新的主节点的起始同步位置,以避免数据丢失。但是,采用上述方式会导致数据重复,且同步耗时增加,同步延时增大,如果重复数据的数据量较大,会严重影响业务进行。
发明内容
本申请提供了一种数据同步方法及装置,用以在发生主从切换时,快速恢复同步,同时降低数据丢失的可能性,提高数据同步的可用性。
第一方面,本申请提供一种数据同步方法,包括:
获取第一节点与第二节点之间的位置对应关系,其中,所述第一节点为主节点,所述第二节点为从节点,所述位置对应关系中至少包含第一日志位置和对应的第二日志位置,所述第一日志位置用于表征所述第一节点的日志同步位置,所述第二日志位置用于表征对应的所述第二节点的日志同步位置;
若监控到所述第一节点和所述第二节点之间进行主从切换,则基于所述位置对应关系和所述第一节点的当前日志同步位置,得到所述第二节点的目标日志位置;
基于所述目标日志位置,进行所述第一节点与所述第二节点之间的数据同步。
第二方面,本申请提供一种数据同步装置,包括:
存储器,用于存储可执行指令;
处理器,用于读取并执行存储器中存储的可执行指令,执行下列过程:
获取第一节点与第二节点之间的位置对应关系,其中,所述第一节点为主节点,所述第二节点为从节点,所述位置对应关系中至少包含第一日志位置和对应的第二日志位置,所述第一日志位置用于表征所述第一节点的日志同步位置,所述第二日志位置用于表征对应的所述第二节点的日志同步位置;
若监控到所述第一节点和所述第二节点之间进行主从切换,则基于所述位置对应关系和所述第一节点的当前日志同步位置,得到所述第二节点的目标日志位置;
基于所述目标日志位置,进行所述第一节点与所述第二节点之间的数据同步。
第三方面,本申请提供一种数据同步装置,包括:
获取单元,用于获取第一节点与第二节点之间的位置对应关系,其中,所述第一节点为主节点,所述第二节点为从节点,所述位置对应关系中至少包含第一日志位置和对应的第二日志位置,所述第一日志位置用于表征所述第一节点的日志同步位置,所述第二日志位置用于表征对应的所述第二节点的日志同步位置;
处理单元,用于若监控到所述第一节点和所述第二节点之间进行主从切换,则基于所述位置对应关系和所述第一节点的当前日志同步位置,得到所述第二节点的目标日志位置;
同步单元,用于基于所述目标日志位置,进行所述第一节点与所述第二节点之间的数据同步。
第四方面,一种存储介质,当所述存储介质中的指令由处理器执行时,使得所述处理器能够执行如上述任一项所述的数据同步方法。
综上所述,本申请实施例中,获取第一节点与第二节点之间的位置对应关系,其中,第一节点为主节点,第二节点为从节点,位置对应关系中至少包含第一节点的日志同步位置,以及对应的第二节点的日志同步位置;若监控到第一节点和第二节点之间进行主从切换,则基于位置对应关系和第一节点的当前日志同步位置,得到第二节点的目标日志位置;基于目标日志位置,进行第一节点与第二节点之间的数据同步。这样,通过获取的位置对应关系,可以在发生主从切换后,快速确定新的主节点的目标日志位置,从而根据目标日志位置,快速恢复同步,避免了主从切换时发生数据丢失,提高了数据同步的可用性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1A为本申请实施例中提供的第一种应用场景的示意图;
图1B为本申请实施例中提供的第二种应用场景的示意图;
图2为本申请实施例中提供的一种数据同步方法的流程示意图;
图3为本申请实施例中提供的一种数据同步方法的逻辑示意图;
图4为本申请实施例中提供的一种数据同步装置的结构示意图;
图5为本申请实施例中提供的一种数据同步装置的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请技术方案的一部分实施例,而不是全部的实施例。基于本申请文件中记载的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请技术方案保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
需要说明的是,本申请中对于术语的简要说明,仅是为了方便理解接下来描述的实施方式,而不是意图限定本申请的实施方式。除非另有说明,这些术语应当按照其普通和通常的含义理解。
此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖但不排他的包含,例如,包含了一系列组件的产品或设备不必限于清楚地列出的那些组件,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
本申请中使用的术语“模块”,是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合,能够执行与该元件相关的功能。
以下对本申请实施例中的部分用语进行解释说明,以便于本领域技术人员理解。
数据同步:数据同步包括但不限于增量同步和全量同步,其中,全量同步为一次性同步所有的数据,增量同步为在第一次全量同步的基础上只同步更改数据,更改数据包括删除的数据、更新的数据和***的数据。
目前,现有的数据同步***中,若发生主从切换,通常将新的主节点的数据库日志中,距离切换时刻之前某一时刻对应的位置,作为新的主节点的同步到的位置,以避免数据丢失。但是,采用上述方式会重复同步一段时间内的数据,如果这段时间内数据量比较大的话,会造成一定的耗时,可能会是几秒钟的时间,甚至更长,这就会导致这段时间内同步延时,可能会给业务带来很大的影响。
以节点A为主节点,节点B为从节点为例,当节点A和节点B之间发生主从切换后,节点A成为从节点,节点B成为主节点,在发生主从切换之后,将节点B的数据库日志中,距离切换时刻之前1分钟对应的位置1,作为节点B的同步到的位置,进而基于位置1,对节点A进行数据同步。
为了在发生主从切换时,快速恢复同步,同时降低数据丢失的可能性,本申请实施例中,获取第一节点与第二节点之间的位置对应关系,其中,第一节点为主节点,第二节点为从节点,位置对应关系中至少包含第一节点的日志同步位置,以及对应的第二节点的日志同步位置;若监控到第一节点和第二节点之间进行主从切换,则基于位置对应关系和第一节点的当前日志同步位置,得到第二节点的目标日志位置;基于目标日志位置,进行第一节点与第二节点之间的数据同步。这样,通过获取的位置对应关系,可以在发生主从切换后,快速确定新的主节点的目标日志位置,从而根据目标日志位置,快速恢复同步,避免了主从切换时发生数据丢失,提高了数据同步的可用性。
以下结合说明书附图对本申请的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本申请,并不用于限定本申请,并且在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
参阅图1A所示,其为本申请实施例提供的第一种可能的应用场景示意图。该应用场景中包括但不限于业务网元110、数据库集群120和数据同步装置130。数据库集群120中至少包含第一节点121和第二节点122。
其中,业务网元110可以使用数据库集群120中存储的数据,提供相应的业务,例如,账号管理业务等。作为一种可能的实现方式,第一节点121和第二节点122可以部署于同一数据库服务器中。
作为另一种可能的实现方式,第一节点121和第二节点122也可以分别部署于不同的数据库服务器中。数据库集群120利用至少两台或者多台数据库服务器,构成一个虚拟单一数据库逻辑映像,以向用户提供相应的数据服务。
本申请实施例中,数据库服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
数据同步装置130,用于获取第一节点121与第二节点122之间的位置对应关系,在监控到第一节点121与第二节点122之间进行主从切换时,基于第一节点121与第二节点122之间的位置对应关系和旧主节点的当前日志同步位置,得到新主节点的目标日志位置,进而基于目标日志位置,进行第一节点与第二节点之间的数据同步。
参阅图1B所示,其为本申请实施例提供的第二种可能的应用场景示意图。该应用场景中除业务网元110、数据库集群120、数据同步装置130之外,还包含公共组件140、业务网元150。
其中,公共组件140使用数据库集群120中存储的数据,公共组件140可以是但不限于是MySQL、远程字典服务(Remote Dictionary Server,Redis)、分布式发布订阅消息***(Kafka)等。业务网元150使用公共组件140中存储的数据,进行相关业务。
参阅图2所示,其为本申请实施例中提供的一种数据同步方法的流程示意图,可以应用于数据同步装置。具体的,进行数据同步的流程如下:
S201、数据同步装置获取第一节点与第二节点之间的位置对应关系,其中,第一节点为主节点,第二节点为从节点,位置对应关系中至少包含第一日志位置和对应的第二日志位置,第一日志位置用于表征第一节点的日志同步位置,第二日志位置用于表征对应的第二节点的日志同步位置。
示例性的,本申请实施例中,第一节点和第二节点中可以部署MYSQL数据库,也可以部署Oracle数据库。当第一节点和第二节点中部署MYSQL数据库时,采用二进制日志(binlog日志)。当第一节点和第二节点中部署Oracle数据库时,可以采用归档日志。下文中,仅以部署MYSQL数据库为例进行说明。
在一些实施例中,数据同步装置获取第一节点与第二节点之间的位置对应关系,可以采用但不限于以下步骤:
A1、数据同步装置按照预设频率,通知所述第二节点返回第一节点的第一日志位置和第二节点的第二日志位置。
示例性的,数据同步装置可以按照预设频率,向第二节点发送第一查询指令和第二查询指令,并接收第二节点基于第一查询指令返回的第一节点的第一日志位置,以及接收第二节点基于第二查询指令返回的第二节点的第二日志位置。
第一查询指令可以采用“show slave status”指令,“show slave status”指令用于指示第二节点返回第一节点的第一日志位置。第二查询指令可以采用“show masterstatus”指令,“show master status”指令用于指示第二节点返回第二节点的第二日志位置。
示例性的,预设频率可以是每秒一次,也可以是每毫秒一次,本申请对此不作限制。
本申请实施例中,第一日志位置中至少包含第一节点的数据库日志的日志名称和日志点(也可称为pos),日志点用于表征相应的数据库操作对应的记录,在数据库日志中的位置。
例如,数据同步装置按照每秒一次的预设频率,向第二节点发送“show slavestatus”指令和“show master status”指令,并接收第二节点基于“show slave status”指令的第一节点的第一日志位置,以及接收第二节点基于“show master status”指令返回的第二节点的第二日志位置,其中,第一节点的第一日志位置为(日志名称:mysql-bin.000009,pos:638931),第二节点的第二日志位置为(日志名称:mysql-bin.000010,pos:385846)。
A2、数据同步装置关联记录第一日志位置和第二日志位置,得到位置对应关系。
需要说明的是,本申请实施例中,位置对应关系可以存储于指定存储位置,指定存储位置可以包括但不限于是数据库或Redis。示例性的,指定存储位置中可以存储设定时间范围内的位置对应关系,例如,设定时间范围可以是一天内。
例如,参阅表1所示,位置对应关系中,第3条记录表征,当第一日志位置为(日志名称:mysql-bin.000009,pos:638931)时,第二日志位置为(日志名称:mysql-bin.000010,pos:385846),第4条记录表征,当第一日志位置为(日志名称:mysql-bin.000009,pos:640951)时,第二日志位置为(日志名称:mysql-bin.000010,pos:387816),其它不再赘述。
表1位置对应关系
S202、若监控到第一节点和第二节点之间进行主从切换,则数据同步装置基于位置对应关系和第一节点的当前日志同步位置,得到第二节点的目标日志位置。
在一些实施例中,数据同步装置监控到第一节点和所述第二节点之间进行主从切换,可以采用但不限于以下步骤:
B1、数据同步装置基于预设的配置信息,分别向第一节点和第二节点发送状态查询指令;其中,配置信息中至少包含第一节点的第一地址和第二节点的第二地址。
本申请实施例中,状态查询指令可以采用“show slave status”指令。示例性的,若从节点接收到“show slave status”指令,则可以返回状态信息不为空的状态查询响应,该状态信息中可以包含但不限于相应的主节点的地址。若主节点接收到“show slavestatus”指令,则可以返回状态信息为空的状态查询响应。
第一节点的第一地址可以采用但不限于第一节点的网际互连协议(InternetProtocol,IP)地址表示,第二节点的第二地址可以采用但不限于第二节点的IP地址表示。例如,第一节点的第一地址为1.1.1.1:3306,第二节点的第二地址为2.2.2.2:3306。
B2、若数据同步装置基于第二节点返回的第二状态查询响应,确定第一节点和第二节点之间完成主从切换,其中,第二状态查询响应用于表征第二节点为主节点。
本申请实施例中,第一节点和第二节点之间进行主从切换,包含但不限于以下两种可能的情况:第一种可能的情况:第二节点成为新的主节点,第一节点限制使用;第二种可能的情况:第二节点成为新的主节点,第一节点成为新的从节点。
本申请实施例中,第二状态查询响应用于表征第二节点为主节点,也可以理解为,第二状态查询响应中状态信息为空。
在第一种可能的情况中,若数据同步装置在设定时长内接收到第二节点返回的第二状态查询响应,且未接收到第一节点返回的第一状态查询响应,则确定第一节点和第二节点之间完成主从切换。
例如,假设,设定时长为1分钟,数据同步装置在1分钟内接收到第二节点返回的表征第二节点为主节点的第二状态查询响应,但未接收到第一节点返回的第一状态查询响应,则确定第一节点和第二节点之间完成主从切换。
在第二种可能的情况中,若数据同步装置在设定时长内接收到第二节点返回的第二状态查询响应,且接收到第一节点返回的第一状态查询响应,则确定第一节点和第二节点之间完成主从切换,其中,所述第一状态查询响应表征第一节点为从节点。
例如,假设,设定时长为1分钟,数据同步装置在1分钟内接收到第二节点返回的表征第二节点为主节点的第二状态查询响应,且接收到第一节点返回的表征第一节点为从节点的第一状态查询响应,则确定第一节点和第二节点之间完成主从切换。
在一些实施例中,数据同步装置基于第二节点的目标日志位置,可以采用但不限于以下步骤:
C1、数据同步装置从指定存储位置,获取第一节点的当前日志同步位置。
本申请实施例中,在第一节点和第二节点之间进行主从切换之前,数据同步装置获取并解析第一节点的数据库日志,并基于解析结果,对第一节点和第二节点进行数据同步。若第一节点和第二节点同步成功,则数据同步装置在指定存储位置中,记录第一节点的当前日志同步位置。示例性的,指定存储位置可以包括但不限于是数据库、Redis、文件。
例如,数据同步装置从指定存储位置,获取第一节点的当前日志同步位置(日志名称:mysql-bin.000009,pos:640951)。
C2、数据同步装置基于位置对应关系和当前日志同步位置,得到第二节点的目标日志位置。
具体的,根据当前日志同步位置和位置对应关系,存在但不限于以下两种情况:
情况一:若位置对应关系中包含当前日志同步位置,则数据同步装置将当前日志同步位置对应的第二节点的第二日志位置,作为第二节点的目标日志位置。
例如,假设,当前日志同步位置为(pos:638931),位置对应关系中包含当前日志同步位置,数据同步装置将当前日志同步位置对应的第二节点的第二日志位置(日志名称:mysql-bin.000010,pos:385846),作为第二节点的目标日志位置。
情况二:若位置对应关系中未包含当前日志信息,则数据同步装置基于当前日志同步位置的记录时间,从位置对应关系中,确定第一节点的第三日志位置,并将第三日志信息对应的第二节点的第四日志位置,作为目标日志位置,其中,第三日志位置是指第一日志位置中距离记录时间最近的第一日志位置。
例如,假设,当前日志同步位置为(pos:639158),位置对应关系中未包含当前日志同步位置,数据同步装置基于当前日志同步位置的记录时间,从位置对应关系中,确定第一节点的第三日志位置(日志名称:mysql-bin.000009,pos:638931),并将第三日志信息对应的第二节点的第四日志位置(日志名称:mysql-bin.000010,pos:385846),作为目标日志位置,其中,第三日志位置是指第一日志位置中距离记录时间最近的第一日志位置。
S203、数据同步装置基于目标日志位置,进行第一节点与第二节点之间的数据同步。
第一节点和第二节点之间进行主从切换之后,第二节点成为新的主节点,数据同步装置可以对第二节点进行监听,若监听到第二节点中发生数据库操作,则从目标日志位置开始,对第二节点进行增量同步。
需要说明的是,本申请实施例中,数据库操作可以包括但不限于:数据库结构变更操作,和/或,数据库数据操作。其中,数据库结构变更操作包括但不限于表的创建操作、表的修改操作等,数据库数据操作包括但不限于数据增加操作、数据删除操作、数据修改操作等。
例如,数据同步装置可以对第二节点进行监听,若监听到第二节点中发生数据增加操作,则从目标日志位置(日志名称:mysql-bin.000010,pos:385846)开始,对第二节点进行增量同步。
在一些实施例中,数据同步装置监控到第一节点和第二节点之间进行主从切换之前,还可以对第一节点进行监听。相应的,若数据同步装置监听到第一节点中执行数据库操作,则将数据库操作和新的第一日志位置,写入处理队列中;其中,第一日志位置是第一节点执行数据库操作后生成的;基于处理队列,将数据库操作写入第二节点中,并将第一日志位置存储至指定存储位置。
示例性的,指定存储位置可以包括但不限于是数据库或Redis。
例如,数据同步装置监听到第一节点中执行数据删除操作,则将数据删除操作和第一日志位置,写入处理队列中;其中,第一日志位置是第一节点执行数据删除操作后生成的,然后,数据同步装置基于处理队列,将数据库操作写入第二节点中,并将第一日志位置存储至Redis中。
在一些实施中,若指定存储位置中存在第一节点的第一日志位置,则说明数据同步装置不是初次启动。在实际应用中,可能因为故障导致数据同步装置重启,数据同步装置重启后,可以继续从上次同步到的位置继续同步,具备断点续传功能。
若指定存储位置中不存在第一节点的第一日志位置,则说明数据同步装置第一次启动。
具体的,若数据同步装置从指定存储位置中,未获取到第一节点的第一日志位置,则在基于配置文件,确定对第一节点和第二节点进行全量同步后,得到第一日志位置;基于第一日志位置,对第一节点和第二节点进行增量同步。
例如,数据同步装置从指定存储位置中,未获取到第一节点的第一日志位置,则在基于配置文件,确定对第一节点和第二节点进行全量同步后,生成第一日志位置(日志名称:mysql-bin.000010,pos:634891);基于第一日志位置,对第一节点和第二节点进行增量同步。
下面结合具体的示例对本申请进行说明。
以图1A所示的应用场景为例,第一节点为主节点,第二节点为从节点,业务网元可以根据数据库集群的虚拟IP地址(Virtual IP Address,VIP),对第一节点中数据进行操作。VIP指向数据库集群中的主节点,业务网元可以通过VIP对数据库集群中的数据进行操作。示例性的,当第一节点为主节点时,VIP指向第一节点,当第二节点为主节点时,VIP指向第二节点。
数据同步装置第一次启动时,基于预设的配置信息中包含的第一节点的第一地址1.1.1.1,以及第二节点122的第二地址2.2.2.2,分别向第一节点和第二节点发送“showslave status”指令。若数据同步装置在设定时长内接收到第一节点返回的状态查询响应,以及接收到第二节点返回的状态查询响应,其中,第一节点返回的状态查询响应中包含的状态信息为空,第二节点返回的状态查询响应中包含的状态信息不为空,则确定第一节点为主节点。
数据同步装置从指定存储位置中获取第一节点的第一日志位置,若未获取到第一节点的第一日志位置,则在基于配置文件,确定对第一节点和第二节点进行全量同步后,得到生成第一日志位置(日志名称:mysql-bin.000009,pos:634891),基于第一日志位置,对第一节点和第二节点进行增量同步。
参阅图3所示,在第一节点与第二节点发生主从切换时,数据同步装置、第一节点、第二节点之间的交互过程如下:
S301、数据同步装置从第一节点处,获取第一节点和第二节点之间的位置对应关系。在S301的执行过程中,若第一节点发生故障,则第二节点成为主节点。
该步骤的详细描述参见S201,在此不再重复。
S302、数据同步装置监控到第一节点和第二节点之间进行主从切换时,基于位置对应关系和第一节点的当前日志同步位置,得到第二节点的目标日志位置。
该步骤的详细描述参见S202,在此不再重复。
S303、数据同步装置基于目标日志位置,进行第一节点与第二节点之间的数据同步。
该步骤的详细描述参见S203,在此不再重复。
基于同一发明构思,参阅图4所示,本申请实施例提供一种数据同步装置,至少包括:
存储器401,用于存储可执行指令;
处理器402,用于读取并执行存储器中存储的可执行指令,执行下列过程:
获取第一节点与第二节点之间的位置对应关系,其中,所述第一节点为主节点,所述第二节点为从节点,所述位置对应关系中至少包含第一日志位置和对应的第二日志位置,所述第一日志位置用于表征所述第一节点的日志同步位置,所述第二日志位置用于表征对应的所述第二节点的日志同步位置;
若监控到所述第一节点和所述第二节点之间进行主从切换,则基于所述位置对应关系和所述第一节点的当前日志同步位置,得到所述第二节点的目标日志位置;
基于所述目标日志位置,进行所述第一节点与所述第二节点之间的数据同步。
可选的,所述获取第一节点与第二节点之间的位置对应关系,处理器402用于:
按照预设频率,通知所述第二节点返回第一节点的第一日志位置和第二节点的第二日志位置;
关联记录所述第一日志位置和第二日志位置,得到日志位置关系。
可选的,所述基于所述位置对应关系和所述第一节点的当前日志同步位置,得到所述第二节点的目标日志位置,处理器402用于:
从指定存储位置,获取所述第一节点的当前日志同步位置;
基于所述位置对应关系和所述当前日志同步位置,得到所述第二节点的目标日志位置。
可选的,基于所述位置对应关系和所述当前日志同步位置,得到所述第二节点的目标日志位置,处理器402用于:
若所述位置对应关系中包含所述当前日志同步位置,则将所述当前日志同步位置对应的所述第二节点的第二日志位置,作为所述第二节点的目标日志位置;或者,
若所述位置对应关系中未包含所述当前日志信息,则基于所述当前日志同步位置的记录时间,从所述位置对应关系中,确定所述第一节点的第三日志位置,并将所述第三日志信息对应的所述第二节点的第四日志位置,作为所述目标日志位置,其中,所述第三日志位置是指第一日志位置中距离所述记录时间最近的第一日志位置。
可选的,所述监控到所述第一节点和所述第二节点之间进行主从切换,处理器402用于:
基于预设的配置信息,分别向所述第一节点和所述第二节点发送状态查询指令;其中,配置信息中至少包含所述第一节点的第一地址和所述第二节点的第二地址;
若在设定时长内接收到所述第二节点返回的第二状态查询响应,且未接收到所述第一节点返回的第一状态查询响应,则确定所述第一节点和所述第二节点之间完成主从切换,其中,所述第二状态查询响应用于表征所述第二节点为主节点。
可选的,基于所述目标日志位置,进行所述第一节点与所述第二节点之间的数据同步,处理器402用于:
对所述第二节点进行监听;
若监听到所述第二节点中发生数据库操作,则从所述目标日志位置开始,对所述第二节点进行增量同步。
可选的,所述监控到所述第一节点和所述第二节点之间进行主从切换之前,处理器402用于:
若监听到所述第一节点中执行数据库操作,则将数据库操作和所述第一日志位置,写入处理队列中;其中,所述第一日志位置是所述第一节点执行所述数据库操作后生成的;
基于所述处理队列,将所述数据库操作写入所述第二节点中,并将所述第一日志位置存储至指定存储位置。
可选的,处理器402还用于:
若从指定存储位置中,未获取到所述第一节点的第一日志位置,则在基于配置文件,确定对所述第一节点和所述第二节点进行全量同步后,得到所述第一日志位置;
基于所述第一日志位置,对所述第一节点和所述第二节点进行增量同步。
收发机403,用于在处理器402的控制下接收和发送数据。
其中,在图4中,总线架构可以包括任意数量的互联的总线和桥,具体由处理器402代表的一个或多个处理器和存储器401代表的存储器的各种电路链接在一起。总线架构还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口提供接口。收发机403可以是多个元件,即包括发送机和收发机,提供用于在传输介质上与各种其他装置通信的单元。处理器402负责管理总线架构和通常的处理,存储器401可以存储处理器402在执行操作时所使用的数据。
基于同一发明构思,本申请实施例中,提供一种数据同步装置,参阅图5所示,至少包括:获取单元501、处理单元502和同步单元503。
获取单元501,用于获取第一节点与第二节点之间的位置对应关系,其中,所述第一节点为主节点,所述第二节点为从节点,所述位置对应关系中至少包含第一日志位置和对应的第二日志位置,所述第一日志位置用于表征所述第一节点的日志同步位置,所述第二日志位置用于表征对应的所述第二节点的日志同步位置;
处理单元502,用于若监控到所述第一节点和所述第二节点之间进行主从切换,则基于所述位置对应关系和所述第一节点的当前日志同步位置,得到所述第二节点的目标日志位置;
同步单元503,用于基于所述目标日志位置,进行所述第一节点与所述第二节点之间的数据同步。
获取单元501、处理单元502和同步单元503之间相互配合,以实现数据同步装置在上述各个实施例中的功能。
基于同一发明构思,本申请实施例提供一种存储介质,当所述存储介质中的指令由处理器执行时,使得所述处理器能够执行上述流程中数据同步装置实现的任一项方法。
对于***/装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者一个操作与另一个实体或者另一个操作区分开来,而不一定要求或者暗示这些实体或者操作之间存在任何这种实际的关系或者顺序。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种数据同步方法,其特征在于,包括:
获取第一节点与第二节点之间的位置对应关系,其中,所述第一节点为主节点,所述第二节点为从节点,所述位置对应关系中至少包含第一日志位置和对应的第二日志位置,所述第一日志位置用于表征所述第一节点的日志同步位置,所述第二日志位置用于表征对应的所述第二节点的日志同步位置;
若监控到所述第一节点和所述第二节点之间进行主从切换,则基于所述位置对应关系和所述第一节点的当前日志同步位置,得到所述第二节点的目标日志位置;
基于所述目标日志位置,进行所述第一节点与所述第二节点之间的数据同步。
2.如权利要求1所述的方法,其特征在于,所述获取第一节点与第二节点之间的位置对应关系,包括:
按照预设频率,通知所述第二节点返回第一节点的第一日志位置和第二节点的第二日志位置;
关联记录所述第一日志位置和第二日志位置,得到日志位置关系。
3.如权利要求1所述的方法,其特征在于,所述基于所述位置对应关系和所述第一节点的当前日志同步位置,得到所述第二节点的目标日志位置,包括:
从指定存储位置,获取所述第一节点的当前日志同步位置;
基于所述位置对应关系和所述当前日志同步位置,得到所述第二节点的目标日志位置。
4.如权利要求3所述的方法,其特征在于,基于所述位置对应关系和所述当前日志同步位置,得到所述第二节点的目标日志位置,包括:
若所述位置对应关系中包含所述当前日志同步位置,则将所述当前日志同步位置对应的所述第二节点的第二日志位置,作为所述第二节点的目标日志位置;或者,
若所述位置对应关系中未包含所述当前日志信息,则基于所述当前日志同步位置的记录时间,从所述位置对应关系中,确定所述第一节点的第三日志位置,并将所述第三日志信息对应的所述第二节点的第四日志位置,作为所述目标日志位置,其中,所述第三日志位置是指第一日志位置中距离所述记录时间最近的第一日志位置。
5.如权利要求1-4中任一项所述的方法,其特征在于,所述监控到所述第一节点和所述第二节点之间进行主从切换,包括:
基于预设的配置信息,分别向所述第一节点和所述第二节点发送状态查询指令;其中,配置信息中至少包含所述第一节点的第一地址和所述第二节点的第二地址;
若在设定时长内接收到所述第二节点返回的第二状态查询响应,且未接收到所述第一节点返回的第一状态查询响应,则确定所述第一节点和所述第二节点之间完成主从切换,其中,所述第二状态查询响应用于表征所述第二节点为主节点。
6.如权利要求1-4中任一项所述的方法,其特征在于,基于所述目标日志位置,进行所述第一节点与所述第二节点之间的数据同步,包括:
对所述第二节点进行监听;
若监听到所述第二节点中发生数据库操作,则从所述目标日志位置开始,对所述第二节点进行增量同步。
7.如权利要求6所述的方法,其特征在于,所述监控到所述第一节点和所述第二节点之间进行主从切换之前,还包括:
若监听到所述第一节点中执行数据库操作,则将数据库操作和所述第一日志位置,写入处理队列中;其中,所述第一日志位置是所述第一节点执行所述数据库操作后生成的;
基于所述处理队列,将所述数据库操作写入所述第二节点中,并将所述第一日志位置存储至指定存储位置。
8.如权利要求7所述的方法,其特征在于,还包括:
若从指定存储位置中,未获取到所述第一节点的第一日志位置,则在基于配置文件,确定对所述第一节点和所述第二节点进行全量同步后,得到所述第一日志位置;
基于所述第一日志位置,对所述第一节点和所述第二节点进行增量同步。
9.一种数据同步装置,其特征在于,包括:
存储器,用于存储可执行指令;
处理器,用于读取并执行存储器中存储的可执行指令,执行下列过程:
获取第一节点与第二节点之间的位置对应关系,其中,所述第一节点为主节点,所述第二节点为从节点,所述位置对应关系中至少包含第一日志位置和对应的第二日志位置,所述第一日志位置用于表征所述第一节点的日志同步位置,所述第二日志位置用于表征对应的所述第二节点的日志同步位置;
若监控到所述第一节点和所述第二节点之间进行主从切换,则基于所述位置对应关系和所述第一节点的当前日志同步位置,得到所述第二节点的目标日志位置;
基于所述目标日志位置,进行所述第一节点与所述第二节点之间的数据同步。
10.一种数据同步装置,其特征在于,包括:
获取单元,用于获取第一节点与第二节点之间的位置对应关系,其中,所述第一节点为主节点,所述第二节点为从节点,所述位置对应关系中至少包含第一日志位置和对应的第二日志位置,所述第一日志位置用于表征所述第一节点的日志同步位置,所述第二日志位置用于表征对应的所述第二节点的日志同步位置;
处理单元,用于若监控到所述第一节点和所述第二节点之间进行主从切换,则基于所述位置对应关系和所述第一节点的当前日志同步位置,得到所述第二节点的目标日志位置;
同步单元,用于基于所述目标日志位置,进行所述第一节点与所述第二节点之间的数据同步。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110532705.8A CN113515574B (zh) | 2021-05-17 | 2021-05-17 | 一种数据同步方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110532705.8A CN113515574B (zh) | 2021-05-17 | 2021-05-17 | 一种数据同步方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113515574A true CN113515574A (zh) | 2021-10-19 |
CN113515574B CN113515574B (zh) | 2023-05-19 |
Family
ID=78064509
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110532705.8A Active CN113515574B (zh) | 2021-05-17 | 2021-05-17 | 一种数据同步方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113515574B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114666202A (zh) * | 2022-03-18 | 2022-06-24 | 中国建设银行股份有限公司 | 一种基于云数据库的主从切换的监控方法及装置 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130117237A1 (en) * | 2011-11-07 | 2013-05-09 | Sap Ag | Distributed Database Log Recovery |
CN104679604A (zh) * | 2015-02-12 | 2015-06-03 | 大唐移动通信设备有限公司 | 一种主节点和备节点切换的方法和装置 |
CN107426265A (zh) * | 2016-03-11 | 2017-12-01 | 阿里巴巴集团控股有限公司 | 数据一致性同步的方法及设备 |
CN107688584A (zh) * | 2016-08-05 | 2018-02-13 | 华为技术有限公司 | 一种容灾切换的方法、节点及*** |
CN108073656A (zh) * | 2016-11-17 | 2018-05-25 | 杭州华为数字技术有限公司 | 一种数据同步方法及相关设备 |
CN108200157A (zh) * | 2017-12-29 | 2018-06-22 | 北京奇虎科技有限公司 | 主节点触发回退的日志同步方法及装置 |
CN108205588A (zh) * | 2017-12-29 | 2018-06-26 | 北京奇虎科技有限公司 | 基于主从结构的数据同步方法及装置 |
CN108228812A (zh) * | 2017-12-29 | 2018-06-29 | 北京奇虎科技有限公司 | 自适应的主节点切换方法及装置 |
CN108228789A (zh) * | 2017-12-29 | 2018-06-29 | 北京奇虎科技有限公司 | 从节点触发的同步异常恢复方法及装置 |
CN108984569A (zh) * | 2017-06-05 | 2018-12-11 | 中兴通讯股份有限公司 | 数据库切换方法、***和计算机可读存储介质 |
CN110177142A (zh) * | 2019-05-24 | 2019-08-27 | 无锡华云数据技术服务有限公司 | 一种数据同步方法、装置及电子设备 |
CN111200532A (zh) * | 2020-01-02 | 2020-05-26 | 广州虎牙科技有限公司 | 数据库集群节点主从切换的方法、装置、设备和介质 |
CN112417045A (zh) * | 2020-11-20 | 2021-02-26 | 苏州浪潮智能科技有限公司 | 一种数据库主从节点的数据同步方法和装置 |
CN115292408A (zh) * | 2022-07-19 | 2022-11-04 | 天翼云科技有限公司 | MySQL数据库的主从同步方法、装置、设备及介质 |
-
2021
- 2021-05-17 CN CN202110532705.8A patent/CN113515574B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130117237A1 (en) * | 2011-11-07 | 2013-05-09 | Sap Ag | Distributed Database Log Recovery |
CN104679604A (zh) * | 2015-02-12 | 2015-06-03 | 大唐移动通信设备有限公司 | 一种主节点和备节点切换的方法和装置 |
CN107426265A (zh) * | 2016-03-11 | 2017-12-01 | 阿里巴巴集团控股有限公司 | 数据一致性同步的方法及设备 |
CN107688584A (zh) * | 2016-08-05 | 2018-02-13 | 华为技术有限公司 | 一种容灾切换的方法、节点及*** |
CN108073656A (zh) * | 2016-11-17 | 2018-05-25 | 杭州华为数字技术有限公司 | 一种数据同步方法及相关设备 |
CN108984569A (zh) * | 2017-06-05 | 2018-12-11 | 中兴通讯股份有限公司 | 数据库切换方法、***和计算机可读存储介质 |
CN108205588A (zh) * | 2017-12-29 | 2018-06-26 | 北京奇虎科技有限公司 | 基于主从结构的数据同步方法及装置 |
CN108228812A (zh) * | 2017-12-29 | 2018-06-29 | 北京奇虎科技有限公司 | 自适应的主节点切换方法及装置 |
CN108228789A (zh) * | 2017-12-29 | 2018-06-29 | 北京奇虎科技有限公司 | 从节点触发的同步异常恢复方法及装置 |
CN108200157A (zh) * | 2017-12-29 | 2018-06-22 | 北京奇虎科技有限公司 | 主节点触发回退的日志同步方法及装置 |
CN110177142A (zh) * | 2019-05-24 | 2019-08-27 | 无锡华云数据技术服务有限公司 | 一种数据同步方法、装置及电子设备 |
CN111200532A (zh) * | 2020-01-02 | 2020-05-26 | 广州虎牙科技有限公司 | 数据库集群节点主从切换的方法、装置、设备和介质 |
CN112417045A (zh) * | 2020-11-20 | 2021-02-26 | 苏州浪潮智能科技有限公司 | 一种数据库主从节点的数据同步方法和装置 |
CN115292408A (zh) * | 2022-07-19 | 2022-11-04 | 天翼云科技有限公司 | MySQL数据库的主从同步方法、装置、设备及介质 |
Non-Patent Citations (1)
Title |
---|
方丹辉等: "MySQL主从服务器数据库同步的实现" * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114666202A (zh) * | 2022-03-18 | 2022-06-24 | 中国建设银行股份有限公司 | 一种基于云数据库的主从切换的监控方法及装置 |
CN114666202B (zh) * | 2022-03-18 | 2024-04-26 | 中国建设银行股份有限公司 | 一种基于云数据库的主从切换的监控方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113515574B (zh) | 2023-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3754514B1 (en) | Distributed database cluster system, data synchronization method and storage medium | |
AU2019236685B2 (en) | Distributed file system using consensus nodes | |
US20240020038A1 (en) | Distributed Storage Method and Device | |
US10839377B2 (en) | Syncing blockchain nodes with snapshots | |
CN113641511B (zh) | 一种消息通信方法和装置 | |
US20150213100A1 (en) | Data synchronization method and system | |
US20180101558A1 (en) | Log-shipping data replication with early log record fetching | |
CN105493474B (zh) | 用于支持用于同步分布式数据网格中的数据的分区级别日志的***及方法 | |
CN109144785B (zh) | 用于备份数据的方法和装置 | |
CN101808127B (zh) | 数据备份方法、***和服务器 | |
CN110795503A (zh) | 分布式存储***的多集群数据同步方法及相关装置 | |
CN105159795A (zh) | 数据同步方法、装置和*** | |
CN111597197B (zh) | 数据库之间的数据对账方法和装置、存储介质及电子设备 | |
CN114138732A (zh) | 一种数据处理方法及装置 | |
EP3039568B1 (en) | Distributed disaster recovery file sync server system | |
CN113515574B (zh) | 一种数据同步方法及装置 | |
CN110196788B (zh) | 一种数据读取方法、装置、***及存储介质 | |
CN105323271B (zh) | 一种云计算***以及云计算***的处理方法和装置 | |
WO2021082925A1 (zh) | 一种交易处理的方法及装置 | |
WO2023240995A1 (zh) | 一种双机热备***的数据恢复方法、装置及介质 | |
CN109992447B (zh) | 数据复制方法、装置及存储介质 | |
CN112069152A (zh) | 一种数据库集群升级方法、装置、设备以及存储介质 | |
US20230396673A1 (en) | Checking State Consistency in a Log Replication Configuration | |
CN111522688B (zh) | 分布式***的数据备份方法及装置 | |
CN109240608B (zh) | 一种配置信息同步方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |