CN110647511A - 数据同步方法、计算设备及计算机存储介质 - Google Patents

Abstract

本发明公开了一种数据同步方法、计算设备及计算机存储介质。方法包括：利用预设写入命令对客户端发送的数据写入请求进行封装处理；根据封装处理后的数据写入请求，调用第一写线程，将数据写操作记录至第一机房的Redis缓存区中；调用第二写线程，将Redis缓存区中的数据写操作落盘到磁盘中的日志文件，并更新日志文件的文件偏移量；基于包含有文件偏移量的预设读命令，调用读线程读取日志文件中数据写操作，利用机房间建立的同步链路将读取的数据写操作同步给第二机房；基于预设同步命令，将同步的数据写操作对应的数据写入第二机房的Redis数据库，两个机房间基于日志文件进行数据同步，无需每次都从数据开始进行同步，还实现了数据的及时同步，节省了资源。

Description

数据同步方法、计算设备及计算机存储介质

技术领域

本发明涉及数据处理技术领域，具体涉及一种数据同步方法、计算设备及计算机存储介质。

背景技术

Redis数据库是一种内存型数据库，因此，从Redis数据库读数据或者将数据写入到Redis数据库的速度都非常快，但是，也由于是内存型数据库，数据写入到Redis数据库后并不会记录日志文件，现有的以Redis数据库所搭建的机房在进行机房间数据同步时，需要先在机房间之间建立机房专线，然后通过机房专线实现机房间的数据同步，在数据同步过程中，很可能由于各种原因导致机房专线断开，进而导致同步中断。在机房专线重连恢复之后，由于无法获知已经同步了哪些数据，就需要重新进行数据同步，即，将全部的数据再次同步，这样就会造成资源浪费，而且当一个机房内存在多个Redis数据库中的数据需要同步时，就会出现严重的延迟现象。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的数据同步方法、计算设备及计算机存储介质。

根据本发明的一个方面，提供了一种数据同步方法，包括：

利用预设写入命令对客户端发送的数据写入请求进行封装处理；

根据封装处理后的数据写入请求，调用第一写线程，将数据写操作记录至第一机房的Redis缓存区中；调用第二写线程，将Redis缓存区中的数据写操作落盘到磁盘中的日志文件，并更新日志文件的文件偏移量；

基于包含有文件偏移量的预设读命令，调用读线程读取日志文件中数据写操作，利用机房间建立的同步链路将读取的数据写操作同步给第二机房；

基于预设同步命令，将所同步的数据写操作对应的数据写入至第二机房的Redis数据库。

根据本发明的另一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；

存储器用于存放至少一可执行指令，可执行指令使处理器执行以下操作：

利用预设写入命令对客户端发送的数据写入请求进行封装处理；

根据封装处理后的数据写入请求，调用第一写线程，将数据写操作记录至第一机房的Redis缓存区中；调用第二写线程，将Redis缓存区中的数据写操作落盘到磁盘中的日志文件，并更新日志文件的文件偏移量；

基于包含有文件偏移量的预设读命令，调用读线程读取日志文件中数据写操作，利用机房间建立的同步链路将读取的数据写操作同步给第二机房；

基于预设同步命令，将所同步的数据写操作对应的数据写入至第二机房的Redis数据库。

根据本发明的又一方面，提供了一种计算机存储介质，存储介质中存储有至少一可执行指令，可执行指令使处理器执行以下操作：

利用预设写入命令对客户端发送的数据写入请求进行封装处理；

根据封装处理后的数据写入请求，调用第一写线程，将数据写操作记录至第一机房的Redis缓存区中；调用第二写线程，将Redis缓存区中的数据写操作落盘到磁盘中的日志文件，并更新日志文件的文件偏移量；

基于包含有文件偏移量的预设读命令，调用读线程读取日志文件中数据写操作，利用机房间建立的同步链路将读取的数据写操作同步给第二机房；

基于预设同步命令，将所同步的数据写操作对应的数据写入至第二机房的Redis数据库。

根据本发明提供的方案，利用预设写入命令对客户端发送的数据写入请求进行封装处理；根据封装处理后的数据写入请求，调用第一写线程，将数据写操作记录至第一机房的Redis缓存区中；调用第二写线程，将Redis缓存区中的数据写操作落盘到磁盘中的日志文件，并更新日志文件的文件偏移量；基于包含有文件偏移量的预设读命令，调用读线程读取日志文件中数据写操作，利用机房间建立的同步链路将读取的数据写操作同步给第二机房；基于预设同步命令，将所同步的数据写操作对应的数据写入至第二机房的Redis数据库。基于本发明提供的方案，使得基于Redis数据库所搭建的两个机房能够通过记录到日志文件中的数据写操作进行数据同步，从而无需每次都从数据开始进行同步，还实现了数据的及时同步，节省资源，解决了由于Redis数据库是内存型数据库，数据直接写入到Redis数据库而不会记录日志文件导致现有方案无法基于日志文件进行数据同步的问题；另外，本方案是通过调用第一写线程、第二写线程、读线程来实现数据同步，既保证了内存型数据库处理速度快的优点，又提升了数据同步效率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的数据同步方法的流程示意图；

图2示出了根据本发明另一个实施例的数据同步方法的流程示意图；

图3示出了根据本发明一个实施例的计算设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

图1示出了根据本发明一个实施例的数据同步方法的流程示意图。如图1所示，该方法包括以下步骤：

步骤S101，利用预设写入命令对客户端发送的数据写入请求进行封装处理。

通常客户端对机房的Redis数据库所执行的操作一般是写数据和读数据，即，将数据写入到Redis数据库，以及从Redis数据库读取数据。在现有技术中，在接收到客户端发送的数据写入请求时，仅是执行将数据写入到数据库的操作，由于现有基于Redis数据库所搭建的机房没有日志文件的概念，因此，不会执行将数据写操作记录到日志文件的操作。本实施例为了能够实现基于Redis数据库所搭建的机房间的数据同步，在实现数据同步时，新增了几个Redis命令，其中，预设写入命令就是其中一个新增命令。

具体地，在接收到客户端发送的数据写入请求时，并不是立即根据该数据写入请求执行数据写入操作，而是对该数据写入请求进行了相应的处理，例如，利用预设写入命令对客户端发送的数据写入请求进行封装处理。预设写入命令是为了能够实现数据写操作记录到日志文件中而增设的命令，经过预设写入命令封装处理后的数据写入请求是一个新的数据写入请求，封装处理后的数据写入请求在保留了原有数据写入要求外，还被赋予了其它数据处理要求，例如，记录日志文件。

在本实施例中，利用预设写入命令对客户端发送的数据写入请求进行封装处理可以是在数据写入请求的前面增加一个预设前缀，例如，WITHDQ，这里仅是举例说明，不具有任何限定作用，本领域技术人员可以根据实际需求设置增加不同的前缀，当然，对客户端发送的数据写入请求所做的封装处理也不限于增加前缀，其它适于对客户端发送的数据写入请求进行封装处理的实现方式均属于本发明的保护范围，这里不再一一列举。

步骤S102，根据封装处理后的数据写入请求，调用第一写线程，将数据写操作记录至第一机房的Redis缓存区中；调用第二写线程，将Redis缓存区中的数据写操作落盘到磁盘中的日志文件，并更新日志文件的文件偏移量。

在接收到封装处理后的数据写入请求后，通过对封装处理后的数据写入请求进行解析处理，可以确定该封装处理后的数据写入请求要求做哪些数据处理，然后，根据封装处理后的数据写入请求，进行相应的数据处理，具体地，调用第一写线程，将数据写入请求中的数据写操作记录至第一机房的Redis缓存区(即，buff)中；调用第二写线程，将Redis缓存区中的数据写操作落盘到磁盘中的日志文件，并更新日志文件的文件偏移量，完成数据写操作记录到日志文件的操作。这里选用了两个写线程在进行处理，是为了保留内存型数据库所具有的快速的特点，以不牺牲内存型数据库的快速的特点。

在本实施例中，记录到日志文件中的每条数据写操作都对应着一文件偏移量，每条数据写操作都会占用一定的字节，在将数据写操作落盘到磁盘中的日志文件后，会占用日志文件一定的空间，所占用的空间与数据写操作所占用的字节对应，因此，可以根据数据写操作所占用的字节来更新日志文件的文件偏移量。日志文件的文件偏移量会随着所记录的数据写操作越来越多而单调递增。

步骤S103，基于包含有文件偏移量的预设读命令，调用读线程读取日志文件中数据写操作，利用机房间建立的同步链路将读取的数据写操作同步给第二机房。

在完成将数据写操作记录到日志文件中后，就可以执行数据同步，为了实现基于Redis数据库所搭建的机房间的数据同步，又新增了一个Redis命令：预设读命令，例如，DQSUB命令，这里仅是举例说明，不具有任何限定作用，基于该预设读命令从日志文件中读取数据写操作以进行数据同步。

在从日志文件中读取数据写操作时，会设有一文件偏移量，即，预设读命令中携带有文件偏移量，其中，文件偏移量用于表示需要从日志文件中该文件偏移量所对应的位置进行数据写操作的读取。本实施例是基于包含有文件偏移量的预设读命令，单独调用了读线程从日志文件中读取数据写操作，具体地，读线程首选确定该文件偏移量在日志文件中所对应的数据写操作，然后，从此处开始读数据写操作，在读取到数据写操作后，利用两个机房之间建立的同步链路(例如，TCP连接)，将读取的数据写操作同步给第二机房。例如，读取的数据写操作为set a＝1；set b＝2；set a＝3，将这些数据写操作同步给第二机房。

本实施例是新调用了读线程来进行数据同步，而不是利用第一写线程或第二写线程执行数据同步，从而能够保证了Redis数据库原有性能，并在保证了Redis数据库原有性能的情况下，实现数据同步。

步骤S104，基于预设同步命令，将所同步的数据写操作对应的数据写入至第二机房的Redis数据库。

在将数据写操作同步给第二机房后，就可以将所同步的数据写操作对应的数据写入至第二机房的Redis数据库，在步骤S101-步骤S102中，基于经过预设写入命令封装处理后的数据写入请求所做的数据处理，会执行在日志文件中记录数据写操作，然而，在将所同步的数据写操作对应的数据写入到第二机房的Redis数据库，并不希望还执行记录日志文件的操作，若总是执行记录日志文件的操作，就会造成无休止的循环，导致不必要的资源浪费，因此，本实施例在将数据写入到第二机房的Redis数据库时，是基于另一个新增的Redis命令：预设同步命令，例如，APPLY命令，这里仅是举例说明，不具有任何限定作用，该预设同步命令要求做如下数据处理：数据写入到Redis数据库，但不执行记录日志文件的操作，也就是说，不会将数据写操作记录到第二机房对应的日志文件中。具体地，在接收到第一机房所同步的数据写操作后，基于预设同步命令，将所同步的数据写操作对应的数据写入至第二机房的Redis数据库。

本实施例中的日志文件记录的是客户端直接写入到本机房的数据写入操作，而数据同步是两个机房间数据的同步，是基于客户端对第一机房的写数据操作，实现的数据同步，而不是客户端对第二机房所做的数据写入，同步的数据写操作并不会记录到第二机房的日志文件中。

数据写操作是依据客户端执行的先后顺序而记录到第一机房对应的日志文件中，所以，依据数据写操作再次执行数据写入，能够保证第二机房的Redis数据库中的数据与第一机房的Redis数据库中的数据完全相同。

根据本发明上述实施例提供的方法，利用预设写入命令对客户端发送的数据写入请求进行封装处理；根据封装处理后的数据写入请求，调用第一写线程，将数据写操作记录至第一机房的Redis缓存区中；调用第二写线程，将Redis缓存区中的数据写操作落盘到磁盘中的日志文件，并更新日志文件的文件偏移量；基于包含有文件偏移量的预设读命令，调用读线程读取日志文件中数据写操作，利用机房间建立的同步链路将读取的数据写操作同步给第二机房；基于预设同步命令，将所同步的数据写操作对应的数据写入至第二机房的Redis数据库。基于本发明提供的方案，使得基于Redis数据库所搭建的两个机房能够通过记录到日志文件中的数据写操作进行数据同步，从而无需每次都从数据开始进行同步，还实现了数据的及时同步，节省资源，解决了由于Redis数据库是内存型数据库，数据直接写入到Redis数据库而不会记录日志文件导致现有方案无法基于日志文件进行数据同步的问题；另外，本方案是通过调用第一写线程、第二写线程、读线程来实现数据同步，既保证了内存型数据库处理速度快的优点，又提升了数据同步效率。

图2示出了根据本发明另一个实施例的数据同步方法的流程示意图。如图2所示，该方法包括以下步骤：

步骤S201，利用预设写入命令对客户端发送的数据写入请求进行封装处理。

步骤S202，根据封装处理后的数据写入请求，调用第一写线程，将数据写操作记录至第一机房的Redis缓存区中，以及，将数据写操作对应的数据写入到第一机房的Redis数据库；调用第二写线程，将Redis缓存区中的数据写操作落盘到磁盘中的日志文件，并更新日志文件的文件偏移量。

图2所示实施例中步骤S201、步骤S202中的部分与图1所示实施例中的步骤S101-步骤S102类似，这里不再详细赘述。

封装处理后的数据写入请求还保留了未封装处理时，原数据写入请求所要求的数据处理，根据封装处理后的数据写入请求，调用第一写线程，将数据写操作对应的数据写入到第一机房的Redis数据库，实现客户端所要求的数据写入。其中，日志文件格式为AOF格式。

步骤S203，基于包含有文件偏移量的预设读命令，调用读线程读取日志文件中数据写操作，利用机房间建立的同步链路将读取的数据写操作同步给第二机房。

图2所示实施例中步骤S203中的部分与图1所示实施例中的步骤S103类似，这里不再详细赘述。

步骤S204，若机房间建立的同步链路断开导致同步失败，则从断点处再次执行同步操作直至同步成功。

在数据同步过程中，很可能会由于某些原因(例如，链路不稳定)导致机房间建立的同步链路断开，进而导致同步失败，为了避免遗漏部分数据写操作导致数据同步后，第一机房的Redis数据库中的数据与第二机房的Redis数据库中的数据不一致的问题，本实施例采用了断点续传机制，即从断点处再次执行同步操作，进行不断地重试，直至数据同步成功。本实施例在同步失败后，无需获取全量的数据再次执行数据同步，从而节省了同步所需时间。日志文件是存储在第一机房的磁盘中，因此，磁盘为断点续传多次重试提供了资源保证。

步骤S205，检测第二机房记录的文件偏移量是否小于预设同步命令携带的文件偏移量，若是，则执行步骤S206；若否，则执行步骤S207。

在进行断点续传时，可能会存在断点续传时，断点不是很精确的情况，因此，在将数据写入到第二机房的Redis数据库之前，需要先进行文件偏移量的比较，第二机房记录的文件偏移量是已经写入到第二机房的数据所对应的数据写操作的文件偏移量，预设同步命令携带的文件偏移量是本次数据同步后数据写操作对应的文件偏移量，举例说明，本次数据同步所同步的是文件偏移量120-150之间的数据写操作，那么，预设同步命令携带的文件偏移量为150，本实施例检测第二机房记录的文件偏移量是否小于预设同步命令携带的文件偏移量，是为了确定是否所同步的数据写操作对应的数据写入至第二机房的Redis数据库。其中，预设同步命令包含第一机房的机房标识及文件偏移量。

步骤S206，将所同步的数据写操作对应的数据写入至第二机房的Redis数据库，记录已同步的数据写操作对应的文件偏移量及第一机房的机房标识。

在第二机房记录的文件偏移量小于预设同步命令携带的文件偏移量的情况下，表明数据未写入到第二机房的Redis数据库，可以执行将所同步的数据写操作对应的数据写入至第二机房的Redis数据库的操作，具体地，可以依据第二机房记录的文件偏移量开始执行将数据写操作对应的数据写入至第二机房的Redis数据库，例如，第二机房记录的文件偏移量为130，预设同步命令携带的文件偏移量为150，可以从文件偏移量131对应的数据写操作开始执行数据写入。在同步完成后，记录已同步的数据写操作对应的文件偏移量及第一机房的机房标识。

步骤S207，丢弃所同步的数据写操作，等待下次数据同步。

在第二机房记录的文件偏移量大于或等于预设同步命令携带的文件偏移量的情况下，表明数据已写入到第二机房的Redis数据库，那么可以丢弃所同步的数据写操作，等待下次数据同步，从而能够避免数据重复。

在本实施例中，若机房间建立的同步链路正常，则基于预设同步命令，将所同步的数据写操作对应的数据写入至第二机房的Redis数据库，记录已同步的数据写操作对应的文件偏移量及第一机房的机房标识。

步骤S208，依据包含文件偏移量的预设删除命令，删除第一机房的日志文件中与文件偏移量对应的数据写操作。

虽然是将日志文件存储到第一机房的磁盘中，但是磁盘空间也是有限的，为了保证磁盘能够存储更多的日志文件，在数据同步成功后，需要对已同步成功的数据写操作执行删除处理，为了实现删除数据写操作，又新增了一个Redis命令：预设删除命令，该预设删除命令携带有文件偏移量，这里的文件偏移量用于表明已同步了哪些数据，可以对哪些数据写操作进行删除，例如，对于已经同步到第二机房的Redis数据库的全部数据写操作进行删除，第二机房在同步完成后，会向第一机房返回同步成功的通知消息，第一机房根据该同步成功的通知消息，基于所记录的已同步的数据写操作的文件偏移量，删除第一机房的日志文件中的数据写操作，例如，预设删除命令包含的文件偏移量为100，那么删除文件偏移量1-100对应的数据写操作，这里仅是举例说明，不具有任何限定作用。本步骤为可选步骤。

步骤S209，若第一机房宕机或故障，则将数据服务切换到第二机房。

在本实施例中，第一机房为主机房，对外提供数据服务，而第二机房为备用机房，由于第一机房与第二机房之间实时进行了数据同步，因此，若第一机房宕机或故障，可以将数据服务切换到第二机房，由第二机房对外提供数据服务，从而保证客户端正常使用。

在本发明一种可选实施方式中，可能存在第一写线程及第二写线程同时访问第一机房的Redis缓存区的情况，对于第一写线程及第二写线程同时访问Redis缓存区这种情况，可以基于ATOMIC机制解决两个写线程之间的竞争，在确定出是由第一写线程或第二写线程访问第一机房的Redis缓存区后，启用自旋锁，使得其它线程无法执行操作。

根据本发明上述实施例提供的方法，使得基于Redis数据库所搭建的两个机房能够通过记录到日志文件中的数据写操作进行数据同步，从而无需每次都从数据开始进行同步，还实现了数据的及时同步，节省资源，解决了由于Redis数据库是内存型数据库，数据直接写入到Redis数据库而不会记录日志文件导致现有方案无法基于日志文件进行数据同步的问题；另外，本方案是通过调用第一写线程、第二写线程、读线程来实现数据同步，既保证了内存型数据库处理速度快的优点，又提升了数据同步效率；通过断点续传保证了数据全部同步给第二机房，而不会出现遗漏；在断点续传后，检测第二机房记录的文件偏移量是否小于预设同步命令携带的文件偏移量，可以避免重复执行数据同步，节省资源；依据包含文件偏移量的预设删除命令，删除第一机房的日志文件中与文件偏移量对应的数据写操作，可以保证磁盘有足够的存储空间用于存储后续的数据写操作，进行数据同步。

本发明实施例还提供了一种非易失性计算机存储介质，计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的数据同步方法。

可执行指令具体可以用于使得处理器执行以下操作：

利用预设写入命令对客户端发送的数据写入请求进行封装处理；

根据封装处理后的数据写入请求，调用第一写线程，将数据写操作记录至第一机房的Redis缓存区中；调用第二写线程，将Redis缓存区中的数据写操作落盘到磁盘中的日志文件，并更新日志文件的文件偏移量；

基于包含有文件偏移量的预设读命令，调用读线程读取日志文件中数据写操作，利用机房间建立的同步链路将读取的数据写操作同步给第二机房；

基于预设同步命令，将所同步的数据写操作对应的数据写入至第二机房的Redis数据库。

在一种可选的实施方式中，预设同步命令包含第一机房的机房标识及文件偏移量；

可执行指令还使处理器执行以下操作：记录已同步的数据写操作对应的文件偏移量及第一机房的机房标识。

在一种可选的实施方式中，可执行指令还使处理器执行以下操作：若机房间建立的同步链路断开导致同步失败，则从断点处再次执行同步操作直至同步成功。

在一种可选的实施方式中，可执行指令进一步使处理器执行以下操作：

检测第二机房记录的文件偏移量与预设同步命令携带的文件偏移量是否一致；

若预设同步命令携带的文件偏移量小于第二机房记录的文件偏移量，则丢弃所同步的数据写操作；

若预设同步命令携带的文件偏移量大于第二机房记录的文件偏移量，则将所同步的数据写操作对应的数据写入至第二机房的Redis数据库。

在一种可选的实施方式中，可执行指令还使处理器执行以下操作：依据包含文件偏移量的预设删除命令，删除第一机房的日志文件中与文件偏移量对应的数据写操作。

在一种可选的实施方式中，可执行指令还使处理器执行以下操作：根据封装处理后的数据写入请求，调用第一写线程，将数据写操作对应的数据写入到第一机房的Redis数据库。

在一种可选的实施方式中，可执行指令还使处理器执行以下操作：若第一机房宕机或故障，则将数据服务切换到第二机房。

在一种可选的实施方式中，日志文件格式为AOF格式。

图3示出了根据本发明一个实施例的计算设备的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。

如图3所示，该计算设备可以包括：处理器(processor)302、通信接口(Communications Interface)304、存储器(memory)306、以及通信总线308。

其中：

处理器302、通信接口304、以及存储器306通过通信总线308完成相互间的通信。

通信接口304，用于与其它设备比如客户端或其它服务器等的网元通信。

处理器302，用于执行程序310，具体可以执行上述数据同步方法实施例中的相关步骤。

具体地，程序310可以包括程序代码，该程序代码包括计算机操作指令。

处理器302可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器306，用于存放程序310。存储器306可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序310具体可以用于使得处理器302执行以下操作：

利用预设写入命令对客户端发送的数据写入请求进行封装处理；

根据封装处理后的数据写入请求，调用第一写线程，将数据写操作记录至第一机房的Redis缓存区中；调用第二写线程，将Redis缓存区中的数据写操作落盘到磁盘中的日志文件，并更新日志文件的文件偏移量；

基于包含有文件偏移量的预设读命令，调用读线程读取日志文件中数据写操作，利用机房间建立的同步链路将读取的数据写操作同步给第二机房；

基于预设同步命令，将所同步的数据写操作对应的数据写入至第二机房的Redis数据库。

在一种可选的实施方式中，预设同步命令包含第一机房的机房标识及文件偏移量；

程序310还使处理器302执行以下操作：记录已同步的数据写操作对应的文件偏移量及第一机房的机房标识。

在一种可选的实施方式中，程序310还使处理器302执行以下操作：若机房间建立的同步链路断开导致同步失败，则从断点处再次执行同步操作直至同步成功。

在一种可选的实施方式中，程序310进一步使处理器302执行以下操作：

检测第二机房记录的文件偏移量与预设同步命令携带的文件偏移量是否一致；

若预设同步命令携带的文件偏移量小于第二机房记录的文件偏移量，则丢弃所同步的数据写操作；

若预设同步命令携带的文件偏移量大于第二机房记录的文件偏移量，则将所同步的数据写操作对应的数据写入至第二机房的Redis数据库。

在一种可选的实施方式中，程序310还使处理器302执行以下操作：依据包含文件偏移量的预设删除命令，删除第一机房的日志文件中与文件偏移量对应的数据写操作。

在一种可选的实施方式中，程序310还使处理器302执行以下操作：根据封装处理后的数据写入请求，调用第一写线程，将数据写操作对应的数据写入到第一机房的Redis数据库。

在一种可选的实施方式中，程序310还使处理器302执行以下操作：若第一机房宕机或故障，则将数据服务切换到第二机房。

在一种可选的实施方式中，日志文件格式为AOF格式。

在此提供的算法或显示不与任何特定计算机、虚拟***或者其它设备固有相关。各种通用***也可以与基于在此的示教一起使用。根据上面的描述，构造这类***所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。

本发明公开了：A1.一种数据同步方法，包括：

利用预设写入命令对客户端发送的数据写入请求进行封装处理；

根据封装处理后的数据写入请求，调用第一写线程，将数据写操作记录至第一机房的Redis缓存区中；调用第二写线程，将Redis缓存区中的数据写操作落盘到磁盘中的日志文件，并更新日志文件的文件偏移量；

基于包含有文件偏移量的预设读命令，调用读线程读取日志文件中数据写操作，利用机房间建立的同步链路将读取的数据写操作同步给第二机房；

基于预设同步命令，将所同步的数据写操作对应的数据写入至第二机房的Redis数据库。

A2.根据A1所述的方法，其中，所述预设同步命令包含第一机房的机房标识及文件偏移量；

在将所同步的数据写操作对应的数据写入至第二机房的Redis数据库之后，所述方法还包括：记录已同步的数据写操作对应的文件偏移量及第一机房的机房标识。

A3.根据A2所述的方法，其中，所述方法还包括：若机房间建立的同步链路断开导致同步失败，则从断点处再次执行同步操作直至同步成功。

A4.根据A3所述的方法，其中，所述基于预设同步命令，将所同步的数据写操作对应的数据写入至第二机房的Redis数据库进一步包括：

检测第二机房记录的文件偏移量与预设同步命令携带的文件偏移量是否一致；

若预设同步命令携带的文件偏移量小于第二机房记录的文件偏移量，则丢弃所同步的数据写操作；

若预设同步命令携带的文件偏移量大于第二机房记录的文件偏移量，则将所同步的数据写操作对应的数据写入至第二机房的Redis数据库。

A5.根据A1-A4中任一项所述的方法，其中，所述方法还包括：依据包含文件偏移量的预设删除命令，删除第一机房的日志文件中与所述文件偏移量对应的数据写操作。

A6.根据A1-A5中任一项所述的方法，其中，在利用预设写入命令对客户端发送的数据写入请求进行封装处理之后，所述方法还包括：根据封装处理后的数据写入请求，调用第一写线程，将数据写操作对应的数据写入到第一机房的Redis数据库。

A7.根据A1-A6中任一项所述的方法，其中，在基于预设同步命令，将所同步的数据写操作对应的数据写入至第二机房的Redis数据库之后，所述方法还包括：若第一机房宕机或故障，则将数据服务切换到第二机房。

A8.根据A1-A7中任一项所述的方法，其中，所述日志文件格式为AOF格式。

B9.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行以下操作：

利用预设写入命令对客户端发送的数据写入请求进行封装处理；

根据封装处理后的数据写入请求，调用第一写线程，将数据写操作记录至第一机房的Redis缓存区中；调用第二写线程，将Redis缓存区中的数据写操作落盘到磁盘中的日志文件，并更新日志文件的文件偏移量；

基于包含有文件偏移量的预设读命令，调用读线程读取日志文件中数据写操作，利用机房间建立的同步链路将读取的数据写操作同步给第二机房；

基于预设同步命令，将所同步的数据写操作对应的数据写入至第二机房的Redis数据库。

B10.根据B9所述的计算设备，其中，所述预设同步命令包含第一机房的机房标识及文件偏移量；

所述可执行指令还使所述处理器执行以下操作：记录已同步的数据写操作对应的文件偏移量及第一机房的机房标识。

B11.根据B10所述的计算设备，其中，所述可执行指令还使所述处理器执行以下操作：若机房间建立的同步链路断开导致同步失败，则从断点处再次执行同步操作直至同步成功。

B12.根据B11所述的计算设备，其中，所述可执行指令进一步使所述处理器执行以下操作：

检测第二机房记录的文件偏移量与预设同步命令携带的文件偏移量是否一致；

若预设同步命令携带的文件偏移量小于第二机房记录的文件偏移量，则丢弃所同步的数据写操作；

若预设同步命令携带的文件偏移量大于第二机房记录的文件偏移量，则将所同步的数据写操作对应的数据写入至第二机房的Redis数据库。

B13.根据B9-B12中任一项所述的计算设备，其中，所述可执行指令还使所述处理器执行以下操作：依据包含文件偏移量的预设删除命令，删除第一机房的日志文件中与所述文件偏移量对应的数据写操作。

B14.根据B9-B13中任一项所述的计算设备，其中，所述可执行指令还使所述处理器执行以下操作：根据封装处理后的数据写入请求，调用第一写线程，将数据写操作对应的数据写入到第一机房的Redis数据库。

B15.根据B9-B14中任一项所述的计算设备，其中，所述可执行指令还使所述处理器执行以下操作：若第一机房宕机或故障，则将数据服务切换到第二机房。

B16.根据B9-B15中任一项所述的计算设备，其中，所述日志文件格式为AOF格式。

C17.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行以下操作：

利用预设写入命令对客户端发送的数据写入请求进行封装处理；

根据封装处理后的数据写入请求，调用第一写线程，将数据写操作记录至第一机房的Redis缓存区中；调用第二写线程，将Redis缓存区中的数据写操作落盘到磁盘中的日志文件，并更新日志文件的文件偏移量；

基于包含有文件偏移量的预设读命令，调用读线程读取日志文件中数据写操作，利用机房间建立的同步链路将读取的数据写操作同步给第二机房；

基于预设同步命令，将所同步的数据写操作对应的数据写入至第二机房的Redis数据库。

C18.根据C17所述的计算机存储介质，其中，所述预设同步命令包含第一机房的机房标识及文件偏移量；

所述可执行指令还使所述处理器执行以下操作：记录已同步的数据写操作对应的文件偏移量及第一机房的机房标识。

C19.根据C18所述的计算机存储介质，其中，所述可执行指令还使所述处理器执行以下操作：若机房间建立的同步链路断开导致同步失败，则从断点处再次执行同步操作直至同步成功。

C20.根据C19所述的计算机存储介质，其中，所述可执行指令进一步使所述处理器执行以下操作：

检测第二机房记录的文件偏移量与预设同步命令携带的文件偏移量是否一致；

若预设同步命令携带的文件偏移量小于第二机房记录的文件偏移量，则丢弃所同步的数据写操作；

若预设同步命令携带的文件偏移量大于第二机房记录的文件偏移量，则将所同步的数据写操作对应的数据写入至第二机房的Redis数据库。

C21.根据C17-C20中任一项所述的计算机存储介质，其中，所述可执行指令还使所述处理器执行以下操作：依据包含文件偏移量的预设删除命令，删除第一机房的日志文件中与所述文件偏移量对应的数据写操作。

C22.根据C17-C21中任一项所述的计算机存储介质，其中，所述可执行指令还使所述处理器执行以下操作：根据封装处理后的数据写入请求，调用第一写线程，将数据写操作对应的数据写入到第一机房的Redis数据库。

C23.根据C17-C22中任一项所述的计算机存储介质，其中，所述可执行指令还使所述处理器执行以下操作：若第一机房宕机或故障，则将数据服务切换到第二机房。

C24.根据C17-C23中任一项所述的计算机存储介质，其中，所述日志文件格式为AOF格式。

Claims (10)

1.一种数据同步方法，包括：

利用预设写入命令对客户端发送的数据写入请求进行封装处理；

根据封装处理后的数据写入请求，调用第一写线程，将数据写操作记录至第一机房的Redis缓存区中；调用第二写线程，将Redis缓存区中的数据写操作落盘到磁盘中的日志文件，并更新日志文件的文件偏移量；

基于包含有文件偏移量的预设读命令，调用读线程读取日志文件中数据写操作，利用机房间建立的同步链路将读取的数据写操作同步给第二机房；

基于预设同步命令，将所同步的数据写操作对应的数据写入至第二机房的Redis数据库。

2.根据权利要求1所述的方法，其中，所述预设同步命令包含第一机房的机房标识及文件偏移量；

在将所同步的数据写操作对应的数据写入至第二机房的Redis数据库之后，所述方法还包括：记录已同步的数据写操作对应的文件偏移量及第一机房的机房标识。

3.根据权利要求2所述的方法，其中，所述方法还包括：若机房间建立的同步链路断开导致同步失败，则从断点处再次执行同步操作直至同步成功。

4.根据权利要求3所述的方法，其中，所述基于预设同步命令，将所同步的数据写操作对应的数据写入至第二机房的Redis数据库进一步包括：

检测第二机房记录的文件偏移量与预设同步命令携带的文件偏移量是否一致；

若预设同步命令携带的文件偏移量小于第二机房记录的文件偏移量，则丢弃所同步的数据写操作；

若预设同步命令携带的文件偏移量大于第二机房记录的文件偏移量，则将所同步的数据写操作对应的数据写入至第二机房的Redis数据库。

5.根据权利要求1-4中任一项所述的方法，其中，所述方法还包括：依据包含文件偏移量的预设删除命令，删除第一机房的日志文件中与所述文件偏移量对应的数据写操作。

6.根据权利要求1-5中任一项所述的方法，其中，在利用预设写入命令对客户端发送的数据写入请求进行封装处理之后，所述方法还包括：根据封装处理后的数据写入请求，调用第一写线程，将数据写操作对应的数据写入到第一机房的Redis数据库。

7.根据权利要求1-6中任一项所述的方法，其中，在基于预设同步命令，将所同步的数据写操作对应的数据写入至第二机房的Redis数据库之后，所述方法还包括：若第一机房宕机或故障，则将数据服务切换到第二机房。

8.根据权利要求1-7中任一项所述的方法，其中，所述日志文件格式为AOF格式。

9.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行以下操作：

利用预设写入命令对客户端发送的数据写入请求进行封装处理；

根据封装处理后的数据写入请求，调用第一写线程，将数据写操作记录至第一机房的Redis缓存区中；调用第二写线程，将Redis缓存区中的数据写操作落盘到磁盘中的日志文件，并更新日志文件的文件偏移量；

基于包含有文件偏移量的预设读命令，调用读线程读取日志文件中数据写操作，利用机房间建立的同步链路将读取的数据写操作同步给第二机房；

基于预设同步命令，将所同步的数据写操作对应的数据写入至第二机房的Redis数据库。

10.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行以下操作：

利用预设写入命令对客户端发送的数据写入请求进行封装处理；

根据封装处理后的数据写入请求，调用第一写线程，将数据写操作记录至第一机房的Redis缓存区中；调用第二写线程，将Redis缓存区中的数据写操作落盘到磁盘中的日志文件，并更新日志文件的文件偏移量；

基于包含有文件偏移量的预设读命令，调用读线程读取日志文件中数据写操作，利用机房间建立的同步链路将读取的数据写操作同步给第二机房；

基于预设同步命令，将所同步的数据写操作对应的数据写入至第二机房的Redis数据库。

Images