CN110019498A - 日志同步方法及装置、存储介质、电子设备 - Google Patents

Abstract

本公开是关于一种日志同步方法及装置，属于数据处理技术领域。该方法包括：从源数据库中读取事务日志并将所述事务日志存储到多个读取环形队列中；将各所述读取环形队列中的事务日志存储至消费环形队列中，并将所述消费环形队列中的事务日志发送至与目标数据库建立连接的线程；由所述线程将所述事务日志写入所述目标数据库并记录成功写入的事务日志所对应的日志编码。该方法通过采用环形队列对事务日志进行存储，提高了事务日志存储的速度，并且大大的降低了内存损耗。

Description

日志同步方法及装置、存储介质、电子设备

技术领域

本公开涉及数据处理技术领域，具体而言，涉及一种日志同步方法、日志同步装置、计算机可读存储介质以及电子设备。

背景技术

随着互联网技术的发展，使用互联网的用户越来越多，为了保证***的稳定性，***的部署结构也开始由最开始的单机房部署，逐步向同城多机房以及异地多机房部署等进行转变。当***多机房部署后，产生的数据也会分布于多个机房，因此也给多机房之间的数据同步带来了巨大的挑战。

目前保持数据之间同步的方法，可以包括如下两种：一种是依靠数据源软件本身提供的同步机制完成数据同步；例如，MySql(关系型数据库管理***)或者Redis等都可以提供相应的机制来完成数据同步；另一种是通过应用进行双写来保证数据一致性；具体的可以包括：应用完成对数据源A的写入操作后，同时对数据源B再进行写入操作。

但上述两种方法都存在相应的缺点：首先，针对于MySql来说，依靠MySql本身提供的同步机制，当源数据库负载压力较大时，会导致数据同步延迟；针对Redis来说，使用Redis数据同步时，当更换主节点或者超出主节点日志缓冲范围时，会出现数据全量同步的情况，导致数据同步的时间延长，并且数据同步期间Redis不能对外提供服务；其次，应用双写将数据一致性逻辑侵入应用程序中，导致程序逻辑相对复杂；同时对多个数据源进行写入操作，当出现其中部分数据源写入失败的情况时，难以所有数据源数据的一致性。

因此，有必要提出一种新的日志同步方法。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种日志同步方法、日志同步装置、计算机可读存储介质以及电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

根据本公开的一个方面，提供一种日志同步方法，包括：

从源数据库中读取事务日志并将所述事务日志存储到多个读取环形队列中；

将各所述读取环形队列中的事务日志存储至消费环形队列中，并将所述消费环形队列中的事务日志发送至与目标数据库建立连接的线程；

由所述线程将所述事务日志写入所述目标数据库并记录成功写入的事务日志所对应的日志编码。

在本公开的一种示例性实施例中，所述事务日志包括多个数据源，且各所述数据源与各所述读取环形队列一一对应。

在本公开的一种示例性实施例中，在将所述事务日志存储到多个读取环形队列中之后，所述日志同步方法还包括：

以增量的方式对各所述读取环形队列中的事务日志进行编码。

在本公开的一种示例性实施例中，在将所述事务日志存储到多个读取环形队列中之后，所述日志同步方法还包括：

将所述读取环形队列中的事务日志存储至本地数据库。

在本公开的一种示例性实施例中，在将所述事务日志存储到多个读取环形队列中之前，所述日志同步方法还包括：

对所述事务日志进行解析，并将解析后的所述事务日志进行格式化处理。

在本公开的一种示例性实施例中，将各所述读取环形队列中的事务日志存储至消费环形队列中包括：

将各所述读取环形队列中的事务日志对应的日志编码发送至所述消费环形队列；

判断各所述日志编码对应的事务日志是否存在于所述读取环形队列中；

在判断各所述日志编码对应的事务日志存在于所述读取环形队列中时，将各所述日志编码对应的事务日志存储至消费环形队列中；

在判断各所述日志编码对应的事务日志不存在于所述读取环形队列中时，从所述本地数据库中获取各所述日志编码对应的事务日志并将该事务日志存储至消费环形队列中。

在本公开的一种示例性实施例中，将所述消费环形队列中的事务日志发送至与目标数据库建立连接的线程包括：

启动与所述目标数据库建立连接的线程并从所述消费环形队列中取出所述事务日志；

将所述事务日志生成执行任务并将所述执行任务发送至所述线程。

在本公开的一种示例性实施例中，在从源数据库中读取事务日志之前，所述日志同步方法还包括：

启动与所述源数据库建立连接的线程并向所述源数据库发送读取事务日志的读取请求。

根据本公开的一个方面，提供一种日志同步装置，包括：

读取模块，用于从源数据库中读取事务日志并将所述事务日志存储到多个读取环形队列中；

发送模块，用于将各所述读取环形队列中的事务日志存储至消费环形队列中，并将所述消费环形队列中的事务日志发送至与目标数据库建立连接的线程；

写入模块，用于由所述线程将所述事务日志写入所述目标数据库并记录成功写入的事务日志所对应的日志编码。

根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的日志同步方法。

根据本公开的一个方面，提供一种电子设备，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的日志同步方法。

本公开一种日志同步方法及装置，通过从源数据库中读取事务日志并将事务日志存储到环形队列中；然后将环形队列中的事务日志发送至与目标数据库建立连接的线程；最后由线程将事务日志写入目标数据库并记录成功写入的事务日志所对应的日志编码；一方面，通过记录成功写入的事务日志对应的日志编码，使得下一次再进行同步的时候，可以根据该日志编码进行同步不必再次写入已经同步过了的日志编码对应的事务日志，使得事务日志之间可以通过增量的方式进行同步，避免了事务日志的全量同步，提升了事务日志的同步效率并且减轻了目标数据的负担；另一方面，通过采用环形队列对事务日志进行存储，提高了事务日志存储的速度，并且大大的降低了内存损耗。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性示出一种日志同步方法的流程图。

图2示意性示出一种环形队列的初始状态示意图。

图3示意性示出一种环形队列中添加了一个数据后的状态示意图。

图4示意性示出一种环形队列进行了读取和添加后的状态示意图。

图5示意性示出一种事务日志获取的流程框图。

图6示意性示出一种将事务日志存储到消费环形队列中的方法流程图。

图7示意性示出一种事务日志同步的流程框图。

图8示意性示出一种日志同步装置的框图。

图9示意性示出一种用于实现上述日志同步方法的电子设备示例图。

图10示意性示出一种用于实现上述日志同步方法的计算机存储介质。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

本示例实施方式中首先提供了一种日志同步方法。参考图1所示，该日志同步方法可以包括以下步骤：

步骤S110.从源数据库中读取事务日志并将所述事务日志存储到多个读取环形队列中。

步骤S120.将各所述读取环形队列中的事务日志存储至消费环形队列中，并将所述消费环形队列中的事务日志发送至与目标数据库建立连接的线程。

步骤S130.由所述线程将所述事务日志写入所述目标数据库并记录成功写入的事务日志所对应的日志编码。

上述日志同步方法中，一方面，通过记录成功写入的事务日志对应的日志编码，使得下一次再进行同步的时候，可以根据该日志编码进行同步不必再次写入已经同步过了的日志编码对应的事务日志，使得事务日志之间可以通过增量的方式进行同步，避免了事务日志的全量同步，提升了事务日志的同步效率并且减轻了目标数据的负担；另一方面，通过采用环形队列对事务日志进行存储，提高了事务日志存储的速度，并且大大的降低了内存损耗。

下面，将对本示例实施方式中上述日志同步方法中的各步骤进行详细的解释以及说明。

在步骤S110中，从源数据库中读取事务日志并将所述事务日志存储到多个读取环形队列中。

首先，对上述源数据库以及事务日志进行解释以及说明。其中，源数据库(SourceDatabase/Source Databases)是指直接提供原始信息资料或具体数据的数据库；源数据库可以包括全文数据库、术语数据库、数值数据库、文本数值型数据库以及图像数据库等，也可以包括其他类型的数据库，例如可以是音频数据库或者是视频数据库等等，本公开对此不做特殊限制；事务日志(Transaction Log)扩展名可以包括ldf，可以用来记录源数据库更新情况的文件；也可以记录针对数据库的任何操作，并将记录的结果保存到独立的文件中；并且，对于每一次数据库更新的过程，事务日志都有非常全面的记录，根据这些记录可以恢复数据库更新前的状态；进一步的，上述事务日志中可以包括多个数据源，该数据源例如可以包括观测数据源、分析测定数据源、图形数据源、统计调查数据源以及遥感数据源等等。

其次，对上述环形队列进行解释以及说明。环形队列(Ring Buffer，也可以称为环形缓存)，可以用来存放通信中发送和接收的数据。环形队列是一个先进先出的循环缓冲区，可以向通信程序提供对缓冲区的互斥访问。进一步的，环形缓冲区通常可以包括一个读指针和一个写指针；其中，读指针指向环形缓冲区中可读的数据，写指针指向环形缓冲区中可写的缓冲区。通过移动读指针和写指针就可以实现缓冲区的数据读取和写入；在通常情况下，环形缓冲区的读用户紧紧会影响读指针，而写用户仅仅会影响写指针。如果仅仅有一个读用户和一个写用户，那么不需要添加互斥保护机制就可以保证数据的正确性。如果有多个读写用户访问环形缓冲区，则可以添加添加互斥保护机制来确保多个用户互斥访问环形缓冲区。环形队列的工作过程可以参考图2-图4所示：

其中，图2是环形缓冲区的初始状态，可以看到读指针和写指针都指向第一个缓冲区处；图3是向环形缓冲区中添加了一个数据后的情况，可以看到写指针已经移动到数据块2的位置，而读指针没有移动；图4是环形缓冲区进行了读取和添加后的状态，可以看到环形缓冲区中已经添加了两个数据，已经读取了一个数据。

最后，基于对源数据库、事务日志以及环形队列的解释以及说明，对上述步骤S110进行举例说明。举例而言：

参考图5所示，首先从源数据库(Source Database)读取事务日志，然后将读取到的事务日志存储到读取环形队列(Ring Buffer)中。此处需要进一步补充说明的是，由于事务日志中可以包括多个数据源，因此读取环形队列也包括多个，且该读取环形队列的个数与数据源的个数是一一对应的；当读取到包括多个数据源的事务日志后，可以首先判断在原有的读取环形队列中是否存在与读取到的事务日志中包括的各数据源关联的读取环形队列，若存在，则直接将读取到的数据源写入与该数据源关联的读取环形队列；若不存在，则可以新建一个读取环形队列，然后再将读取到的数据源写入该新建的读取环形队列。

进一步的，为了能够成功的从源数据库中读取到事务日志，还需要建立与源数据库之间的连接，具体的可以包括：启动与所述源数据库建立连接的线程并向所述源数据库发送读取事务日志的读取请求。详细而言：

参考图5所示，先启动与源数据库建立连接的线程向源数据库建立连接；然后再向源数据库发送读取事务日志的读取请求；当源数据库响应该读取请求后，读取源数据库中的事务日志。此处需要说明的是，为了提高读取的速度，可以建立多个线程，使得各数据源的个数与各线程的个数一一对应，也就是说，一个线程对应一个数据源；为了避免建立多个线程进而造成***负担过重，也可以使得一个线程对应多个数据源；本公开对此不做特殊限制。

更进一步的，为了节省上述各读取环形队列的存储空间，还可以对读取到的事务日志进行预先处理，具体的可以包括：对所述事务日志进行解析，并将解析后的所述事务日志进行格式化处理。详细而言：

当从源数据库中读取到包括多个数据源的事务日志后，首先对该事务日志进行解析，将各个不同格式的事务日志解析成同一格式的事务日志(例如都解析成*.log格式)以便于后期对各数据源的事务日志进行比对等等；然后对解析后的事务日志进行格式化处理便于节省读取环形队列的存储空间，同时也可以减少***的整体负担，提高事务日志的读取效率。

再进一步的，为了防止目标数据库掉线然后再上线并进行再一次同步的过程中，会重复同步上一次已经同步过的事务日志进而造成全量同步的情况，可以对各读取环形队列中的事务日志进行编码，具体的可以包括：以增量的方式对各所述读取环形队列中的事务日志进行编码。举例而言：

参考图2-图4所示，当读取环形队列中的第一个模块存储完成以后，将该模块标记为1，然后将下一个模块标记为2；当下一次再次将事务日志存储到该读取环形队列中时，可以在最新一次的标记的基础上加1(也可以加2或者是其他数字，本公开对此不做特殊限制)作为此次的编码。

最后，为了避免由于目标数据库同步速度较慢进而导致读取环形队列中的事务日志的丢失情况，可以将读取环形队列中的事务日志存储至本地数据库中(例如可以是本地磁盘或者移动硬盘等等，本示例对此不做特殊限制)。详细而言：

为了方便消费环形队列可以将读取环形队列从源数据库中读取到的所有的事务日志都存储至目标数据库中，并且可以查找到从源数据库中读取到的所有的事务日志，可以将可以将读取环形队列中的事务日志都存储至本地磁盘中。此处需要补充说明的是，在本地磁盘中，为了便于查询，可以将各数据源对应的事务日志分别进行存储。

进一步的，对事务日志存储至本地数据库的存储方式进行进一步的补充说明。具体的可以包括：以日志快照的方式将事务日志存储至本地数据库。详细而言：

第一步，创建读取环形队列与本地磁盘之间的Dblink(数据库连接)；第二步，在读取环形队列和本地磁盘上建立事务日志的同步表；第三步，在本地磁盘上测试Dblink以确保读取环形队列与本地磁盘之间的正确连接；第四步，在读取环形队列上创建待快照日志；第五步，在本地磁盘上创建快照；第六步，设置快照刷新时间。此外，在本公开的其他示例性实施方式中，也可以以其他的方式将事务日志存储至本地磁盘中，例如可以是拷贝或者发送等等，本示例对此不做特殊限制。

在步骤S120中，将各所述读取环形队列中的事务日志存储至消费环形队列中，并将所述消费环形队列中的事务日志发送至与目标数据库建立连接的线程。

首先，参考图6所示，将事务日志存储到消费环形队列中可以包括步骤S610-步骤S640。其中：

在步骤S610中，将各所述读取环形队列中的事务日志对应的日志编码发送至所述消费环形队列。详细而言：

参考图7所示，首先启动读取环形队列与消费环形队列的连接线程，建立读取环形队列与消费环形队列之间的连接；然后将待同步的事务日志对应的日志编码发送至消费环形队列。此处需要补充说明的是，为了提高读取速度，可以采取一个线程对应一个消费环形队列的方式；同时，为了避免建立多个线程进而造成***负担过重，也可以使得一个线程对应多个数据源，本公开对此不做特殊限制。

在步骤S620中，判断各所述日志编码对应的事务日志是否存在于所述读取环形队列中。详细而言：

由于读取环形队列中可以存储的事务日志的有一定的容量限制；因此当目标数据库同步的日志编码相对于读取环形队列中的日志编码落后很多时，事务日志可能已经不存储在读取环形队列中进而转存到本地磁盘了。因此，为了能够成功的获取各日志编码对应的事务日志，需要先判断各日志编码对应的事务日志是否存在于读取环形队列中。

在步骤S630中，在判断各所述日志编码对应的事务日志存在于所述读取环形队列中时，将各所述日志编码对应的事务日志存储至消费环形队列中。详细而言：

在判断各日志编码对应的事务日志存在于读取环形队列中时，可以获取各日志编码对应的事务日志并将各日志编码对应的事务日志发送至读取环形队列与消费环形队列连接的线程，然后通过该线程将各日志编码对应的事务日志存储至消费环形队列中。

在步骤S640中，在判断各所述日志编码对应的事务日志不存在于所述读取环形队列中时，从所述本地数据库中获取各所述日志编码对应的事务日志并将该事务日志存储至消费环形队列中。详细而言：

在判断各日志编码对应的事务日志不存在于读取环形队列中时，首先启动消费环形队列与本地磁盘之间的线程建立消费环形队列与本地磁盘间的连接；然后根据各日志编码在本地磁盘中查询与各日志编码对应的事务日志并将各日志编码对应的事务日志发送至消费环形队列与本地磁盘连接的线程，然后通过该线程将各日志编码对应的事务日志存储至消费环形队列中。

其次，当将各日志编码对应的事务日志存储至消费环形队列中以后，还需要将消费环形队列中的事务日志发送至与目标数据库建立连接的线程，该过程可以包括：启动与所述目标数据库建立连接的线程并从所述消费环形队列中取出所述事务日志；将所述事务日志生成执行任务并将所述执行任务发送至所述线程。详细而言：

首先，启动转发(Dispatcher)线程，然后通过该线程从消费环形队列中批量取出事务日志，并根据数据源对该事务日志进行分组得到多个各数据源为名称的事务日志文件包；并将该以各数据源为名称的事务日志文件包生成多个执行任务；然后将各执行任务发送到包括多个线程(Thread)的执行线程池中。此处需要进一步补充说明的是，为了提高执行速度，可以采取一个线程对应一个以各数据源为名称的事务日志文件包的方式；同时，为了避免建立多个线程进而造成***负担过重，也可以使得一个线程对应多个以各数据源为名称的事务日志文件包的方式，本公开对此不做特殊限制。

在步骤S130中，由所述线程将所述事务日志写入所述目标数据库并记录成功写入的事务日志所对应的日志编码。

在本示例实施方式中，当上述执行线程池中的线程接收到以各数据源为名称的事务日志文件包时，执行日志语句，然后提交以各数据源为名称的事务日志文件包；当提交完成后，记录已成功提交的事务日志所对应的日志编码。通过记录成功写入的事务日志对应的日志编码，使得下一次再进行同步的时候，可以根据该日志编码进行同步不必再次写入已经同步过了的日志编码对应的事务日志，使得事务日志之间可以通过增量的方式进行同步，避免了事务日志的全量同步，提升了事务日志的同步效率并且减轻了目标数据的负担。

此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

本公开还提供了一种日志同步装置。参考图8所示，该日志同步装置可以包括：读取模块810、发送模块820以及写入模块830。其中：

读取模块810可以用于从源数据库中读取事务日志并将所述事务日志存储到多个读取环形队列中。

发送模块820可以用于将各所述读取环形队列中的事务日志存储至消费环形队列中，并将所述消费环形队列中的事务日志发送至与目标数据库建立连接的线程。

写入模块830可以用于由所述线程将所述事务日志写入所述目标数据库并记录成功写入的事务日志所对应的日志编码。

上述日志同步装置中各模块的具体细节已经在对应的日志同步方法中进行了详细想描述，因此此处不再赘述。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。

在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为***、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“***”。

下面参照图9来描述根据本发明的这种实施方式的电子设备600。图9显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图9所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：上述至少一个处理单元610、上述至少一个存储单元620、连接不同***组件(包括存储单元620和处理单元610)的总线630。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图2中所示的步骤S110：从源数据库中读取事务日志并将所述事务日志存储到多个读取环形队列中；S120：将各所述读取环形队列中的事务日志存储至消费环形队列中，并将所述消费环形队列中的事务日志发送至与目标数据库建立连接的线程；步骤S130：由所述线程将所述事务日志写入所述目标数据库并记录成功写入的事务日志所对应的日志编码。

存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。

存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、***总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器660通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。

参考图10所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

Claims (11)

1.一种日志同步方法，其特征在于，包括：

从源数据库中读取事务日志并将所述事务日志存储到多个读取环形队列中；

将各所述读取环形队列中的事务日志存储至消费环形队列中，并将所述消费环形队列中的事务日志发送至与目标数据库建立连接的线程；

由所述线程将所述事务日志写入所述目标数据库并记录成功写入的事务日志所对应的日志编码。

2.根据权利要求1所述的日志同步方法，其特征在于，所述事务日志包括多个数据源，且各所述数据源与各所述读取环形队列一一对应。

3.根据权利要求1所述的日志同步方法，其特征在于，在将所述事务日志存储到多个读取环形队列中之后，所述日志同步方法还包括：

以增量的方式对各所述读取环形队列中的事务日志进行编码。

4.根据权利要求1所述的日志同步方法，其特征在于，在将所述事务日志存储到多个读取环形队列中之后，所述日志同步方法还包括：

将所述读取环形队列中的事务日志存储至本地数据库。

5.根据权利要求1所述的日志同步方法，其特征在于，在将所述事务日志存储到多个读取环形队列中之前，所述日志同步方法还包括：

对所述事务日志进行解析，并将解析后的所述事务日志进行格式化处理。

6.根据权利要求4所述的日志同步方法，其特征在于，将各所述读取环形队列中的事务日志存储至消费环形队列中包括：

将各所述读取环形队列中的事务日志对应的日志编码发送至所述消费环形队列；

判断各所述日志编码对应的事务日志是否存在于所述读取环形队列中；

在判断各所述日志编码对应的事务日志存在于所述读取环形队列中时，将各所述日志编码对应的事务日志存储至消费环形队列中；

在判断各所述日志编码对应的事务日志不存在于所述读取环形队列中时，从所述本地数据库中获取各所述日志编码对应的事务日志并将该事务日志存储至消费环形队列中。

7.根据权利要求1所述的日志同步方法，其特征在于，将所述消费环形队列中的事务日志发送至与目标数据库建立连接的线程包括：

启动与所述目标数据库建立连接的线程并从所述消费环形队列中取出所述事务日志；

将所述事务日志生成执行任务并将所述执行任务发送至所述线程。

8.根据权利要求1所述的日志同步方法，其特征在于，在从源数据库中读取事务日志之前，所述日志同步方法还包括：

启动与所述源数据库建立连接的线程并向所述源数据库发送读取事务日志的读取请求。

9.一种日志同步装置，其特征在于，包括：

读取模块，用于从源数据库中读取事务日志并将所述事务日志存储到多个读取环形队列中；

发送模块，用于将各所述读取环形队列中的事务日志存储至消费环形队列中，并将所述消费环形队列中的事务日志发送至与目标数据库建立连接的线程；

写入模块，用于由所述线程将所述事务日志写入所述目标数据库并记录成功写入的事务日志所对应的日志编码。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8任一项所述的日志同步方法。

11.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-8任一项所述的日志同步方法。