CN114691781A - 一种数据同步方法、***、装置、设备及介质 - Google Patents

一种数据同步方法、***、装置、设备及介质 Download PDF

Info

Publication number
CN114691781A
CN114691781A CN202210355029.6A CN202210355029A CN114691781A CN 114691781 A CN114691781 A CN 114691781A CN 202210355029 A CN202210355029 A CN 202210355029A CN 114691781 A CN114691781 A CN 114691781A
Authority
CN
China
Prior art keywords
data
target
data synchronization
proxy server
log
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210355029.6A
Other languages
English (en)
Inventor
董宇飞
王忠勤
张建磊
周龙
樊本超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dawning Information Industry Beijing Co Ltd
Original Assignee
Dawning Information Industry Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dawning Information Industry Beijing Co Ltd filed Critical Dawning Information Industry Beijing Co Ltd
Priority to CN202210355029.6A priority Critical patent/CN114691781A/zh
Publication of CN114691781A publication Critical patent/CN114691781A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2023—Failover techniques
    • G06F11/2028—Failover techniques eliminating a faulty processor or activating a spare
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2358—Change logging, detection, and notification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/80—Database-specific techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5021—Priority

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据同步方法、***、装置、设备及介质。该方法包括：对源数据库进行监听，形成监听日志，监听日志中包括至少一个同步数据项，每个同步数据项中包括操作数据，以及与操作数据匹配的操作类型；根据所述监听日志，形成与各同步数据项分别对应的数据同步请求；在备选代理服务器集群中，确定目标代理服务器；将各所述数据同步请求发送至目标代理服务器，以指示所述目标代理服务器依据负载策略针对各所述目标数据库执行各所述数据同步请求。通过本发明的技术方案，能够实现高效地进行数据同步，提高了数据同步的效率以及可用性。

Description

一种数据同步方法、***、装置、设备及介质
技术领域
本发明涉及数据传输技术领域，尤其涉及一种数据同步方法、***、装置、设备及介质。
背景技术
随着互联网技术的快速发展，互联网流量越来越大，为各大互联网公司进行不同区域之间的数据同步造成了极大的困扰。
现有技术中，通常利用Canal进行不同区域的数据同步，其中，Canal主要通过对源数据库的增量日志进行解析，来获取增量的数据信息。然而，由于利用Canal进行数据同步可能会存在服务器失效后数据同步无法继续进行的问题，因此，如何高效地进行数据同步是目前亟待解决的问题。
发明内容
本发明提供了一种数据同步方法、***、装置、设备及介质，可以解决现有技术中数据同步效率低的问题。
根据本发明的一方面，提供了一种数据同步方法，包括：
对源数据库进行监听，形成监听日志，监听日志中包括至少一个同步数据项，每个同步数据项中包括操作数据，以及与操作数据匹配的操作类型；
根据所述监听日志，形成与各同步数据项分别对应的数据同步请求；
在备选代理服务器集群中，确定目标代理服务器；
将各所述数据同步请求发送至目标代理服务器，以指示所述目标代理服务器依据负载策略针对各所述目标数据库执行各所述数据同步请求。
可选的，对源数据库进行监听，形成监听日志，包括：
每当监听到所述源数据库中生成新的日志文件时，根据所述日志文件的文件大小，从所述源数据库中分片获取所述日志文件中包括的各所述操作数据项；
将各所述操作数据项作为所述同步数据项，存储于所述监听日志中。
上述技术方案通过根据源数据库中生成的新的日志文件的大小，分片获取日志文件中的各操作数据项，并将操作数据项作为同步数据项存储至监听日志，实现了对源数据库的日志文件进行分片提取，提高了源数据库日志文件的获取效率，并为后续的操作提供了有效的基础。
可选的，根据所述监听日志，形成与各同步数据项分别对应的数据同步请求，包括：
获取与当前处理的目标同步数据项对应的目标操作数据以及目标操作类型，并根据所述目标操作类型，确定数据读写类型；
构建与所述数据读写类型匹配的目标数据同步请求，并将所述目标操作数据以及目标操作类型加入至所述目标数据同步请求中。
上述技术方案通过将当前处理的目标同步数据项中目标操作类型对应的数据读写类型与目标操作数据以及目标操作类型一同构建目标数据同步请求，可以使得目标数据同步请求更加完善，并为后续的操作提供了有效的基础。
可选的，在备选代理服务器集群中，确定目标代理服务器，包括：
在备选代理服务器集群中，获取当前标识为主机的代理服务器，作为所述目标代理服务器；
其中，所述备选代理服务器集群中包括主机和至少一个备机，所述主机在发生故障时，触发主备切换，所述主机在正常运行时，实时监控各备机运行状态，以保证至少一个备机与所述主机保持同步正常运行。
上述技术方案通过将备选代理服务器集群中当前标识为主机的代理服务器，作为所述目标代理服务器，并将当前标识为主机的代理服务器与当前标识为备机的代理服务器之间建立联系，使得可以保证至少一个备机与主机保持同步正常运行，提高了数据同步中代理服务器的可用性，解决了主机损坏时，无备机接续工作导致的数据同步中断的问题。
可选的，在每当监听到所述源数据库中生成新的日志文件时，根据所述日志文件的文件大小，从所述源数据库中分片获取所述日志文件中包括的各所述操作数据项之后，还包括：
保存当前分片的偏移量作为目标偏移量，当存在断点问题时，依据所述目标偏移量从所述源数据库中接续分片获取所述日志文件中包括的各所述操作数据项。
上述技术方案通过将当前分片的偏移量作为目标偏移量，使得存在断点问题时可以从目标偏移量开始接续分片获取日志文件中包括的各所述操作数据项，保证了断点问题消失后，可以从目标偏移量处继续对日志文件进行分片获取，无需从日志文件的开始重新分片提取，提高了日志文件中各操作数据项的获取效率。
根据本发明的另一方面，提供了一种一种数据同步***，包括多个数据库、数据同步服务器、备选代理服务器集群，其中：
所述数据库，包括用于进行本机数据更新的源数据库，以及对源数据库中的数据更新操作进行数据同步的目标数据库；
所述数据同步服务器，用于执行如权利要求1-5中任一项所述的方法；
所述备选代理服务器集群中的目标代理服务器，用于接收所述数据同步服务器发送的所述数据同步请求，并依据负载策略针对各所述目标数据库执行各所述数据同步请求。
可选的，所述目标代理服务器具体用于：
依据所述数据同步请求，获取各个操作数据、与各个操作数据匹配的操作类型以及操作类型的数据读写类型；
若目标操作数据匹配的当前操作类型为数据读类型，且目标操作数据匹配的前序操作类型为数据读类型，则依据负载策略针对各所述目标数据库并行执行当前操作与前序操作对应的数据同步请求；
若目标操作数据匹配的当前操作类型为数据写类型，则依据负载策略针对各所述目标数据库排队执行当前操作对应的数据同步请求。
上述技术方案通过在目标代理服务器执行数据同步请求时，根据各个数据同步请求中操作类型的数据读写类型，判断当前数据同步请求需要进行并行处理或排队处理，可以提升数据同步的并发性，提高数据同步的效率。
根据本发明的另一方面，提供了一种数据传输装置包括：
日志监听模块，用于对源数据库进行监听，形成监听日志，监听日志中包括至少一个同步数据项，每个同步数据项中包括操作数据，以及与操作数据匹配的操作类型；
请求生成模块，用于根据所述监听日志，形成与各同步数据项分别对应的数据同步请求；
代理服务器确定模块，用于在备选代理服务器集群中，确定目标代理服务器；
数据传输模块，用于将各所述数据同步请求发送至目标代理服务器，以指示所述目标代理服务器依据负载策略针对各所述目标数据库执行各所述数据同步请求。
根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的数据同步方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的数据同步方法。
本发明实施例的技术方案，通过对源数据库进行监听形成监听日志，并根据监听日志形成与各同步数据项分别对应的数据同步请求；再将各数据同步请求发送至确定的目标代理服务器中，指示目标代理服务器依据负载策略针对各目标数据库执行各数据同步请求，解决了现有技术中数据同步效率较低的问题，可以实现高效地完成数据同步。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种数据同步方法的流程图；
图2a是根据本发明实施例二提供的一种数据同步方法的流程图；
图2b是根据本发明实施例二提供的一种分片获取日志文件的流程示意图；
图2c是根据本发明实施例二提供的一种文件资源类型的树形锁示意图；
图2d是根据本发明实施例二提供的一种路径资源类型的树形锁示意图；
图3是根据本发明实施例三提供的一种优选的数据同步方法的流程示意图；
图4a是根据本发明实施例四提供的一种数据同步***的结构示意图；
图4b是根据本发明实施例四提供的一种数据同步***的示意图；
图5是根据本发明实施例五提供的一种数据同步装置的结构示意图；
图6是实现本发明实施例的数据同步方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“目标”、“前序”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1为本发明实施例一提供了一种数据同步方法的流程图，本实施例可适用于数据同步的情况，该方法可以由数据同步装置来执行，该数据同步装置可以采用硬件和/或软件的形式实现，该数据同步装置可配置于电子设备中。如图1所示，该方法包括：
S110、对源数据库进行监听，形成监听日志，监听日志中包括至少一个同步数据项，每个同步数据项中包括操作数据，以及与操作数据匹配的操作类型。
其中，监听日志可以指对源数据库的二进制文件，如binlog文件，进行监听后得到的包含新增数据的日志文件；示例性的，可以记录源数据库中二进制文件的大小，当检测到二进制文件变大时，将二进制文件中新产生的部分作为监听日志。值得注意的是，可以按照设定频率对源数据库进行监听获取监听日志，也可以按照实际应用需求对源数据库进行监听获取监听日志，本发明实施例对此不进行限制。
其中，同步数据项可以指包含新增的操作数据，以及与操作数据匹配的操作类型的数据信息。操作数据可以指待同步的数据，如表格或数字等。与操作数据匹配的操作类型可以指对操作数据进行数据操作的类型，例如，添加、删除、修改或者查询等。
S120、根据所述监听日志，形成与各同步数据项分别对应的数据同步请求。
其中，数据同步请求可以指对操作数据进行数据同步的请求，通常该数据同步请求中可以包含数据同步的操作对象即操作数据以及对该操作数据匹配的操作类型等，以根据该数据同步请求准确地完成操作数据的数据同步。
S130、在备选代理服务器集群中，确定目标代理服务器。
其中，备选代理服务器集群可以指由多个代理服务器组成的代理服务器集群。代理服务器可以指代理进行数据同步服务的服务器，如负载均衡器(Linux Virtual Server，LVS)。目标代理服务器可以指选中进行数据同步服务的代理服务器，示例性的，可以通过代理服务器的网际互连协议(Internet Protocol，IP)选定目标代理服务器，可以通过代理服务器的标识选定目标代理服务器，还可以通过轮询、加权轮询或者最小连接数调度等策略选定目标代理服务器。
在一个可选的实施方式中，在备选代理服务器集群中，确定目标代理服务器，包括：在备选代理服务器集群中，获取当前标识为主机的代理服务器，作为所述目标代理服务器；其中，所述备选代理服务器集群中包括主机和至少一个备机，所述主机在发生故障时，触发主备切换，所述主机在正常运行时，实时监控各备机运行状态，以保证至少一个备机与所述主机保持同步正常运行。其中，主机与备机之间可以建立通讯机制，使得主机可以实时监听备机的状态，若主机监听不到备机的状态则及时通知工作人员对备机进行维护，以便主机无法正常工作时，可以及时切换至备机。值得注意的是，当主机无法正常工作时，切换的备机会将标识更改为主机，之前损坏的主机将标识更改为备机，并且修改过表示后的主机再次对各个备机进行监听，以备主机再次出现故障。具体的，可以使用LVS结合KeepAlived实现双机热备服务，从而实现代理服务器的高可用性。上述技术方案通过将备选代理服务器集群中当前标识为主机的代理服务器，作为所述目标代理服务器，并将当前标识为主机的代理服务器与当前标识为备机的代理服务器之间建立联系，使得可以保证至少一个备机与主机保持同步正常运行，提高了数据同步中代理服务器的可用性，解决了主机损坏时，无备机接续工作导致的数据同步中断的问题。
S140、将各所述数据同步请求发送至目标代理服务器，以指示所述目标代理服务器依据负载策略针对各所述目标数据库执行各所述数据同步请求。
其中，负载策略可以指根据各个目标数据库的优先级所生成的数据同步请求执行策略，示例性的，可以优先对优先级较高的目标数据库执行数据同步请求。值得注意的是，目标数据库可以含有多个，本发明实施例中对目标数据库的数量不进行具体限定。
本发明实施例的技术方案，通过对源数据库进行监听形成监听日志，并根据监听日志形成与各同步数据项分别对应的数据同步请求；再将各数据同步请求发送至确定的目标代理服务器中，指示目标代理服务器依据负载策略针对各目标数据库执行各数据同步请求，解决了现有技术中数据同步效率较低的问题，可以实现高效地完成数据同步。
实施例二
图2a为本发明实施例二提供的一种数据同步方法的流程图，本实施例以上述实施例为基础进行细化，在本实施例中具体是对根据所述监听日志，形成与各同步数据项分别对应的数据同步请求进行细化，具体可以包括：获取与当前处理的目标同步数据项对应的目标操作数据以及目标操作类型，并根据所述目标操作类型，确定数据读写类型；构建与所述数据读写类型匹配的目标数据同步请求，并将所述目标操作数据以及目标操作类型加入至所述目标数据同步请求中。
以及，对所述对源数据库进行监听，形成监听日志进行细化，具体可以包括：每当监听到所述源数据库中生成新的日志文件时，根据所述日志文件的文件大小，从所述源数据库中分片获取所述日志文件中包括的各所述操作数据项；将各所述操作数据项作为所述同步数据项，存储于所述监听日志中。
如图2a所示，该方法包括：
S210、每当监听到所述源数据库中生成新的日志文件时，根据所述日志文件的文件大小，从所述源数据库中分片获取所述日志文件中包括的各所述操作数据项。
其中，分片获取可以指按照设定分片大小对新生成的日志文件进行分块提取。设定分片大小可以根据实际情况进行设定，例如，可以为5k或者更小，值得注意的是，设定分片大小越小则误差越小。优选的，可以选用Maxwell实时抓取源数据库中新生成的日志文件，以便于日志文件的获取。
如图2b所示为分片获取日志文件的流程示意图，具体的，计算监听到的源数据库中新生成的日志文件的哈希码，并进行记录；之后，获取新生成的日志文件的大小，按照设定分片大小对新生成的日志文件进行分片拉取，以获取日志文件中包括的各操作数据项；每次成功拉取一片日志文件时，将该片的偏移量进行保存，并将当前拉取的日志文件片与之前拉取的日志文件片进行合并生成当前日志文件；比较当前日志文件的哈希码与新生成的日志文件的哈希码，若结果一致，则证明日志文件传输完成。
在一个可选的实施方式中，在每当监听到所述源数据库中生成新的日志文件时，根据所述日志文件的文件大小，从所述源数据库中分片获取所述日志文件中包括的各所述操作数据项之后，还包括：保存当前分片的偏移量作为目标偏移量，当存在断点问题时，依据所述目标偏移量从所述源数据库中接续分片获取所述日志文件中包括的各所述操作数据项。其中，目标偏移量可以指当前日志文件分片对应的偏移量。断点问题可以指数据同步服务器存在宕机并重启的问题。具体的，当数据同步服务器宕机并重启时，根据记录的目标偏移量以及当前日志文件的哈希码判断下一次拉取的日志文件片，以此接续分片获取日志文件中包括的各所述操作数据项。上述技术方案通过将当前分片的偏移量作为目标偏移量，使得存在断点问题时可以从目标偏移量开始接续分片获取日志文件中包括的各所述操作数据项，保证了断点问题消失后，可以从目标偏移量处继续对日志文件进行分片获取，无需从日志文件的开始重新分片提取，提高了日志文件中各操作数据项的获取效率。
值得注意的是，在本发明实施例中可以选用Go语言的goruntine特性处理对多个源数据库的数据同步请求。其中，Go语言是Google开发的一种静态强类型、编译型以及并发型，并具有垃圾回收功能的编程语言，使用该语言编写程序可以不依赖其他库，直接编译为机器码，且可以提高执行效率。
S220、将各所述操作数据项作为所述同步数据项，存储于所述监听日志中。
具体的，在分片获取新生成的日志文件中包括的各操作数据项之后，可以将各操作数据项作为同步数据项，并存储于监听日志。
上述技术方案通过根据源数据库中生成的新的日志文件的大小，分片获取日志文件中的各操作数据项，并将操作数据项作为同步数据项存储至监听日志，实现了对源数据库的日志文件进行分片提取，提高了源数据库日志文件的获取效率，并为后续的操作提供了有效的基础。
S230、获取与当前处理的目标同步数据项对应的目标操作数据以及目标操作类型，并根据所述目标操作类型，确定数据读写类型。
其中，目标同步数据项可以指当前处理的同步数据项。数据读写类型可以指目标操作类型对应的操作数据操作类型，例如读类型或者写类型，示例性的，若目标操作类型为添加、删除或修改，则对应的数据读写类型可以为写类型；若目标操作类型为查询，则对应的数据读写类型可以为读类型。
S240、构建与所述数据读写类型匹配的目标数据同步请求，并将所述目标操作数据以及目标操作类型加入至所述目标数据同步请求中。
具体的，根据目标同步数据项中包含的目标操作类型，确定对应的数据读写类型，进而通过数据读写类型、目标操作数据以及目标操作类型生成目标数据同步请求。上述技术方案通过将当前处理的目标同步数据项中目标操作类型对应的数据读写类型与目标操作数据以及目标操作类型一同构建目标数据同步请求，可以使得目标数据同步请求更加完善，并为后续的操作提供了有效的基础。
S250、在备选代理服务器集群中，确定目标代理服务器。
S260、将各所述数据同步请求发送至目标代理服务器，以指示所述目标代理服务器依据负载策略针对各所述目标数据库执行各所述数据同步请求。
在一个可选的实施方式中，所述目标代理服务器具体可以用于：依据所述数据同步请求，获取各个操作数据、与各个操作数据匹配的操作类型以及操作类型的数据读写类型；若目标操作数据匹配的当前操作类型为数据读类型，且目标操作数据匹配的前序操作类型为数据读类型，则依据负载策略针对各所述目标数据库并行执行当前操作与前序操作对应的数据同步请求；若目标操作数据匹配的当前操作类型为数据写类型，则依据负载策略针对各所述目标数据库排队执行当前操作对应的数据同步请求。其中，操作数据的资源类型可以为文件(file)资源也可以为路径(path)资源，当对该操作数据执行数据同步请求时，会根据数据同步请求中的数据读写类型以及操作数据的资源类型为各操作数据生成树干体系为读锁或写锁的树形锁。如图2c所示为文件资源类型的树形锁示意图；如图2d所示为路径资源类型的树形锁示意图；其中，虚线部分为加锁内容。具体的，当对file资源或路径path资源进行数据操作时，首先根据操作数据的据读写类型生成对应的读锁或写锁，若当前锁类型为读锁，且前序锁类型也为读锁，则当前操作可以与前序操作并行处理；若当前锁类型为写锁，则不论前序锁类型为读锁或写锁，均需等待前序操作执行结束后再进行处理。由此，通过在目标代理服务器执行数据同步请求时，根据各个数据同步请求中操作类型的数据读写类型，判断当前数据同步请求需要进行并行处理或排队处理，可以提升数据同步的并发性，提高数据同步的效率。
本发明实施例的技术方案，通过对源数据库进行监听生成新的日志文件，再根据日志文件的文件大小分片获取该日志文件中的操作数据项，进而生成监听日志，再根据操作数据项中的目标操作类型确定数据读写类型，进一步的，生成包含数据读写类型、目标操作数据以及目标操作类型的数据同步请求，最终，将数据同步请求发送至确定的目标代理服务器中进行执行，解决了现有技术中数据同步效率较低的问题，可以实现高效地完成数据同步。
实施例三
图3为本发明实施例提供的一种优选的数据同步方法的流程示意图。具体的，数据同步服务器对源数据库进行监听，每当监听到源数据库中生成新的日志文件时，根据日志文件的文件大小，从源数据库中分片获取日志文件中包括的各所述操作数据项；并将各所述操作数据项作为同步数据项，存储于监听日志中。之后，数据同步服务器获取与当前处理的目标同步数据项对应的目标操作数据以及目标操作类型，并根据目标操作类型，确定数据读写类型；构建与数据读写类型匹配的目标数据同步请求，并将目标操作数据以及目标操作类型加入至目标数据同步请求中。进一步的，数据同步服务器在备选代理服务器集群中，获取当前标识为主机的代理服务器，作为所述目标代理服务器，并将各数据同步请求发送至目标代理服务器。最终，目标代理服务器依据负载策略针对各目标数据库执行各数据同步请求。由此，解决了现有技术中数据同步效率较低的问题，可以实现高效地完成数据同步。
实施例四
图4a为本发明实施例四提供的一种数据同步***的结构示意图。如图4a所示，该***包括：多个数据库、数据同步服务器、备选代理服务器集群，其中：
所述数据库，包括用于进行本机数据更新的源数据库，以及对源数据库中的数据更新操作进行数据同步的目标数据库；
所述数据同步服务器，用于执行如本发明任一实施例所述的数据同步方法；
所述备选代理服务器集群中的目标代理服务器，用于接收所述数据同步服务器发送的所述数据同步请求，并依据负载策略针对各所述目标数据库执行各所述数据同步请求。
可选的，所述目标代理服务器具体用于：依据所述数据同步请求，获取各个操作数据、与各个操作数据匹配的操作类型以及操作类型的数据读写类型；若目标操作数据匹配的当前操作类型为数据读类型，且目标操作数据匹配的前序操作类型为数据读类型，则依据负载策略针对各所述目标数据库并行执行当前操作与前序操作对应的数据同步请求；若目标操作数据匹配的当前操作类型为数据写类型，则依据负载策略针对各所述目标数据库排队执行当前操作对应的数据同步请求。
图4b为本发明实施例提供的一种数据同步***的示意图。具体的，可以包括源数据库、数据同步服务器、备选代理服务器集群以及对源数据库中的数据更新操作进行数据同步的目标数据库，其中，备选代理服务器集群包括主机和至少一个备机，主机在正常运行时，实时监控各备机运行状态，以保证至少一个备机与主机保持同步正常运行；主机在发生故障时，触发主备切换。
实施例五
图5为本发明实施例五提供的一种数据同步装置的结构示意图。如图5所示，该装置包括：日志监听模块510、请求生成模块520、代理服务器确定模块530以及数据传输模块540；
其中，日志监听模块510，用于对源数据库进行监听，形成监听日志，监听日志中包括至少一个同步数据项，每个同步数据项中包括操作数据，以及与操作数据匹配的操作类型；
请求生成模块520，用于根据所述监听日志，形成与各同步数据项分别对应的数据同步请求；
代理服务器确定模块530，用于在备选代理服务器集群中，确定目标代理服务器；
数据传输模块540，用于将各所述数据同步请求发送至目标代理服务器，以指示所述目标代理服务器依据负载策略针对各所述目标数据库执行各所述数据同步请求。
本发明实施例的技术方案，通过对源数据库进行监听形成监听日志，并根据监听日志形成与各同步数据项分别对应的数据同步请求；再将各数据同步请求发送至确定的目标代理服务器中，指示目标代理服务器依据负载策略针对各目标数据库执行各数据同步请求，解决了现有技术中数据同步效率较低的问题，可以实现高效地完成数据同步。
可选的，日志监听模块510具体可以用于，每当监听到所述源数据库中生成新的日志文件时，根据所述日志文件的文件大小，从所述源数据库中分片获取所述日志文件中包括的各所述操作数据项；将各所述操作数据项作为所述同步数据项，存储于所述监听日志中。
可选的，请求生成模块520具体可以用于，获取与当前处理的目标同步数据项对应的目标操作数据以及目标操作类型，并根据所述目标操作类型，确定数据读写类型；构建与所述数据读写类型匹配的目标数据同步请求，并将所述目标操作数据以及目标操作类型加入至所述目标数据同步请求中。
可选的，代理服务器确定模块530具体可以用于，在备选代理服务器集群中，获取当前标识为主机的代理服务器，作为所述目标代理服务器；其中，所述备选代理服务器集群中包括主机和至少一个备机，所述主机在发生故障时，触发主备切换，所述主机在正常运行时，实时监控各备机运行状态，以保证至少一个备机与所述主机保持同步正常运行。
可选的，数据同步装置还可以包括断点接续模块，用于在每当监听到所述源数据库中生成新的日志文件时，根据所述日志文件的文件大小，从所述源数据库中分片获取所述日志文件中包括的各所述操作数据项之后，保存当前分片的偏移量作为目标偏移量，当存在断点问题时，依据所述目标偏移量从所述源数据库中接续分片获取所述日志文件中包括的各所述操作数据项。
本发明实施例所提供的数据同步装置可执行本发明任意实施例所提供的数据同步方法，具备执行方法相应的功能模块和有益效果。
实施例六
图6示出了可以用来实施本发明的实施例的电子设备610的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图6所示，电子设备610包括至少一个处理器620，以及与至少一个处理器620通信连接的存储器，如只读存储器(ROM)630、随机访问存储器(RAM)640等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器620可以根据存储在只读存储器(ROM)630中的计算机程序或者从存储单元690加载到随机访问存储器(RAM)640中的计算机程序，来执行各种适当的动作和处理。在RAM 640中，还可存储电子设备610操作所需的各种程序和数据。处理器620、ROM 630以及RAM640通过总线650彼此相连。输入/输出(I/O)接口660也连接至总线650。
电子设备610中的多个部件连接至I/O接口660，包括：输入单元670，例如键盘、鼠标等；输出单元680，例如各种类型的显示器、扬声器等；存储单元690，例如磁盘、光盘等；以及通信单元6100，例如网卡、调制解调器、无线通信收发机等。通信单元6100允许电子设备610通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器620可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器620的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器620执行上文所描述的各个方法和处理，例如数据同步方法。
该方法包括：
对源数据库进行监听，形成监听日志，监听日志中包括至少一个同步数据项，每个同步数据项中包括操作数据，以及与操作数据匹配的操作类型；
根据所述监听日志，形成与各同步数据项分别对应的数据同步请求；
在备选代理服务器集群中，确定目标代理服务器；
将各所述数据同步请求发送至目标代理服务器，以指示所述目标代理服务器依据负载策略针对各所述目标数据库执行各所述数据同步请求。
在一些实施例中，数据同步方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元690。在一些实施例中，计算机程序的部分或者全部可以经由ROM 630和/或通信单元6100而被载入和/或安装到电子设备610上。当计算机程序加载到RAM 640并由处理器620执行时，可以执行上文描述的数据同步方法的一个或多个步骤。备选地，在其他实施例中，处理器620可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据同步方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的***和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种数据同步方法，其特征在于，包括：
对源数据库进行监听，形成监听日志，监听日志中包括至少一个同步数据项，每个同步数据项中包括操作数据，以及与操作数据匹配的操作类型；
根据所述监听日志，形成与各同步数据项分别对应的数据同步请求；
在备选代理服务器集群中，确定目标代理服务器；
将各所述数据同步请求发送至目标代理服务器，以指示所述目标代理服务器依据负载策略针对各所述目标数据库执行各所述数据同步请求。
2.根据权利要求1所述的方法，其特征在于，对源数据库进行监听，形成监听日志，包括：
每当监听到所述源数据库中生成新的日志文件时，根据所述日志文件的文件大小，从所述源数据库中分片获取所述日志文件中包括的各所述操作数据项；
将各所述操作数据项作为所述同步数据项，存储于所述监听日志中。
3.根据权利要求1所述的方法，其特征在于，根据所述监听日志，形成与各同步数据项分别对应的数据同步请求，包括：
获取与当前处理的目标同步数据项对应的目标操作数据以及目标操作类型，并根据所述目标操作类型，确定数据读写类型；
构建与所述数据读写类型匹配的目标数据同步请求，并将所述目标操作数据以及目标操作类型加入至所述目标数据同步请求中。
4.根据权利要求1所述的方法，其特征在于，在备选代理服务器集群中，确定目标代理服务器，包括：
在备选代理服务器集群中，获取当前标识为主机的代理服务器，作为所述目标代理服务器；
其中，所述备选代理服务器集群中包括主机和至少一个备机，所述主机在发生故障时，触发主备切换，所述主机在正常运行时，实时监控各备机运行状态，以保证至少一个备机与所述主机保持同步正常运行。
5.根据权利要求2所述的方法，其特征在于，在每当监听到所述源数据库中生成新的日志文件时，根据所述日志文件的文件大小，从所述源数据库中分片获取所述日志文件中包括的各所述操作数据项之后，还包括：
保存当前分片的偏移量作为目标偏移量，当存在断点问题时，依据所述目标偏移量从所述源数据库中接续分片获取所述日志文件中包括的各所述操作数据项。
6.一种数据同步***，其特征在于，包括多个数据库、数据同步服务器、备选代理服务器集群，其中：
所述数据库，包括用于进行本机数据更新的源数据库，以及对源数据库中的数据更新操作进行数据同步的目标数据库；
所述数据同步服务器，用于执行如权利要求1-5中任一项所述的方法；
所述备选代理服务器集群中的目标代理服务器，用于接收所述数据同步服务器发送的所述数据同步请求，并依据负载策略针对各所述目标数据库执行各所述数据同步请求。
7.根据权利要求6所述的***，其特征在于，所述目标代理服务器具体用于：
依据所述数据同步请求，获取各个操作数据、与各个操作数据匹配的操作类型以及操作类型的数据读写类型；
若目标操作数据匹配的当前操作类型为数据读类型，且目标操作数据匹配的前序操作类型为数据读类型，则依据负载策略针对各所述目标数据库并行执行当前操作与前序操作对应的数据同步请求；
若目标操作数据匹配的当前操作类型为数据写类型，则依据负载策略针对各所述目标数据库排队执行当前操作对应的数据同步请求。
8.一种数据传输装置，其特征在于，包括：
日志监听模块，用于对源数据库进行监听，形成监听日志，监听日志中包括至少一个同步数据项，每个同步数据项中包括操作数据，以及与操作数据匹配的操作类型；
请求生成模块，用于根据所述监听日志，形成与各同步数据项分别对应的数据同步请求；
代理服务器确定模块，用于在备选代理服务器集群中，确定目标代理服务器；
数据传输模块，用于将各所述数据同步请求发送至目标代理服务器，以指示所述目标代理服务器依据负载策略针对各所述目标数据库执行各所述数据同步请求。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的数据同步方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-5中任一项所述的数据同步方法。
CN202210355029.6A 2022-04-06 2022-04-06 一种数据同步方法、***、装置、设备及介质 Pending CN114691781A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210355029.6A CN114691781A (zh) 2022-04-06 2022-04-06 一种数据同步方法、***、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210355029.6A CN114691781A (zh) 2022-04-06 2022-04-06 一种数据同步方法、***、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN114691781A true CN114691781A (zh) 2022-07-01

Family

ID=82143577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210355029.6A Pending CN114691781A (zh) 2022-04-06 2022-04-06 一种数据同步方法、***、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN114691781A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115905414A (zh) * 2023-03-03 2023-04-04 北京和升达信息安全技术有限公司 一种内外网数据同步方法、***、电子设备及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115905414A (zh) * 2023-03-03 2023-04-04 北京和升达信息安全技术有限公司 一种内外网数据同步方法、***、电子设备及介质

Similar Documents

Publication Publication Date Title
CN114691781A (zh) 一种数据同步方法、***、装置、设备及介质
CN113656239A (zh) 针对中间件的监控方法、装置及计算机程序产品
CN115525659A (zh) 数据查询方法、装置、电子设备及存储介质
CN115757304A (zh) 一种日志存储方法、装置、***、电子设备及存储介质
CN115905322A (zh) 业务处理方法、装置、电子设备及存储介质
CN115510036A (zh) 数据迁移方法、装置、设备以及存储介质
CN109739883B (zh) 提升数据查询性能的方法、装置和电子设备
CN115174447B (zh) 一种网络通信方法、装置、***、设备及存储介质
CN116383454B (zh) 图数据库的数据查询方法、电子设备及存储介质
CN114924806B (zh) 一种配置信息的动态同步方法、装置、设备及介质
US20230132173A1 (en) Data reading method, device and storage medium
CN115687244A (zh) 文件处理监控方法、装置、设备及介质
CN115237968A (zh) 数据库***中的节点管理方法、装置、设备及存储介质
CN115617801A (zh) 基于分布式***的数据检索方法、装置、设备及介质
CN115454660A (zh) 一种任务管理方法、装置、电子设备及存储介质
CN114443773A (zh) 一种分布式***数据同步方法、装置、设备和存储介质
CN115421979A (zh) 一种日志文件的断点确定方法、装置、设备及存储介质
CN118296076A (zh) 一种数据同步方法、装置、设备及存储介质
CN114416881A (zh) 一种多源数据的实时同步方法、装置、设备及介质
CN115756855A (zh) 一种集群切换方法、装置、终端及存储介质
CN115858104A (zh) 一种事务提交序号快照获取方法、装置、设备及存储介质
CN114706578A (zh) 一种数据处理方法、装置、设备以及介质
CN117971872A (zh) 一种数据库查询方法、装置、设备及存储介质
CN115858472A (zh) 一种数据处理方法、装置、服务器及介质
CN115544418A (zh) 一种网页数据同步方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination